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目 于 我 们 与 作者 在 知识 积累 上 的 巨大 差距 ， 作 者 在 前 言 中 写 道 我 从 
1989 年 开始 攻读 博士 学 位 ， 在 并 行 计 算 和 分 布 式 计 算 的 领域 深造 >， 那 
年 我 只 有 一 岁 。 我 无 法 精通 本 书 介绍 的 七 个 模型 中 的 所 有 技术 细 市 ， 
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在 此 要 问 提 供 帮 助 的 人 们 致 以 谢意 。 首 先 ， 感 谢 图 灵 的 编辑 老师 ， 他 
MADLE TABEN, 其次， 要 感谢 我 的 父亲 一 一 大 
连 海事 大 学 的 蔷 映 辉 教 授 ， 他 为 本 书 进行 了 三 次 审核 ， 对 子 句 进行 了 
细致 董 酌 ， 大 幅 提升 了 本 书 的 可 读 性 ， 然 后 ， 要 感谢 我 的 而 友 一 一 工 
{EF Fox News Digital 的 孙 培 源 ， 他 为 本 书 进行 了 中 英文 的 对 照 审核 ， 
帮助 矫正 了 翻译 过 程 中 的 很 多 读 误 ， 还 要 感谢 工作 于 喜马拉雅 的 柳 飞 
提供 的 莫大 帮助 ; 最 后 ， 要 感谢 这 个 时 代 ， 让 我 们 有 机 会 能 参与 到 这 
个 伟大 的 丛书 系列 中 。 


本 书 介 绍 了 七 种 并 发 模型 ， 行 文通 俗 易 履 ， 有 数量 充足 且 设 计 精 民 的 
样 例 来 帮助 读者 理解 。 读 完 本 书 ， 我 最 大 的 感受 旦 世界 变 得 更 大 了 ， 
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用 一 个 亲身 经 历 的 趣事 来 结束 本 序 。 

几 年 前 ， 我 去 某 软 公司 应 聘 ， 电 话 面试 中 与 面试 官 有 如 下 一 瘟 对 话 。 
HAB: 你 了 解 多 线程 并 发 吗 ? 
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面试 官 : 我 理解 了 。 你 不 太 熟 悉 并 发 是 吗 ? 
我 : 是 的 。 
面试 官 ， 那 我 们 还 是 来 聊 一 聊 并 发 吧 。 
祝 大 家 线程 安全 。 
黄 炎 
20144712318 
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本 书 将 讲述 一 个 完整 的 故事 。 


将 此 作为 一 本 书 的 首要 定位 似乎 有 点 奇怪 ， 但 对 我 而 言 这 很 重要 。 我 
们 曾 回 绝 数 十 位 申请 撰写“ 七 周 系列 丛书 ”的 作者 ， 他 们 认为 只 要 将 七 
个 分 散 主 题 挤 次 起 来 束 是 一 本 书 ， 但 这 有 违 我 们 的 初衷 。 


先前 的 《七 周 七 语言 ， 理 解 多 种 编程 范 型 》! 讲述 了 一 个 面向 对 象 编程 
语言 的 故事 ， 这 是 很 到 应 当时 的 环境 的 。 但 在 多 核 架 构 的 驱动 下 ， 软 
件 复杂 度 的 增长 和 并 发 技术 的 发 展 所 带 来 的 压力 ， 将 函数 式 编程 推 到 
舞台 之 上 ， 并 对 今后 的 编程 方式 有 着 深远 的 影响 。Paul Butcher 是 《七 


最 给 力 的 审 校 者 之 一 ， 相 识 四 年 后 ， 我 开始 理解 其 中 原 
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1 本 书 中 文 版 电子 书 在 图 灵 社 区 有 售 : http://www.ituring.com.cn/book/829 ° 编者 注 


Paul 一 直人 奋斗 在 将 高 可 扩展 的 并 发 技术 应 用 于 实际 业务 系统 的 第 一 线 。 
读 过 《七 周 七 语言 》 后 ， 对 于 他 所 处 的 日 益 重 要 但 日 趋 复 淋 的 问题 领 
域 ，Paul 觉 得 可 以 从 编程 语言 级 别 获 得 一 些 局 发 。 几 年 后 ，Paul 表 示 要 
写 一 本 目 己 的 书 。 他 解释 道 : 尽管 编程 语言 在 整个 故事 中 有 看 重要 的 
作用 ， 但 也 只 触及 了 问题 的 表面 。 他 要 为 读 着 讲述 一 个 更 完整 的 故 
事 ， 为 非 专业 人 士 介 绍 现代 应 用 程序 用 以 解决 大 型 并 行 问 题 的 扩展 性 
民 好 的 重要 工具 。 


一 开始 我 们 是 持 怀 疑 态 度 的 。 这 类 书 是 很 难 写 的 一 一 比 起 其 他 领域 的 
书 ， 这 类 书 需 要 伦 费 更 长 的 时 间 ， 而 且 失 败 的 几率 很 高 一 一 Paul 显 然 选 
择 了 一 块 难 噶 的 骨头 。 作 为 一 个 团队 ， 我 们 不 断 磨合 前 进 ， 终 于 从 最 
初 的 大 纲 中 研磨 出 一 个 优秀 的 故事 。 随 着 书稿 逐渐 完成 ， 我 们 更 加 自 
信 于 Paul 的 技术 能 力 和 攻关 热情 。 现 在 ， 我 们 已 经 确信 这 是 一 本 特别 的 
书 ， 而 且 恰 着 其 时 。 随 着 阅读 的 深入 ， 我 相信 你 也 会 同意 这 个 观点 。 


当 你 在 开篇 阅读 到 “线程 与 锁 ? 这 种 当今 最 广泛 使 用 的 并 发 解决 方案 

H 上 时， 可 能 会 不 以 为 然 。 不 过 你 很 快 就 会 看 到 这 种 解决 方案 的 不 足 之 

处 ， 并 开始 思考 如 何 解 决 。Paul 将 引领 你 学 习 多 种 非常 不 同 的 技术 ， 从 
一 些 社交 平台 使 用 的 Lambda 染 构 ， 到 现今 世界 上 许多 最 大 最 可 靠 的 电 
信和 系统 使 用 的 actor 模 型 。 你 会 学 到 职业 高 手 使 用 的 一 些 语言 ， 从 Java 到 | 
Clojure， 再 到 基于 Erlang 的 办 亮 新 秀 Elixir。 旅途 中 的 每 一 步 ，Paul 都 将 
从 专业 的 角度 为 你 剖析 其 中 的 玄妙 和 精彩 。 


在 此 ， 我 诚意 奉 上 《七 周 七 并 发 模型 》。 硕 望 你 和 我 一 样 乐 享 其 中 。 


Bruce A. Tate 
icanmakeitbetter.com 网 站 CTO， 七 周 系列 从 书 主 编 
于 美国 德 克 萨 斯 州 奥斯汀 
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我 从 1989 年 开始 攻读 博士 学 位 ， 在 并 行 计算 和 分 布 式 计算 的 领域 深 
造 ， 当 时 我 便 深信 并 发 编程 将 成 为 主流 。 二 十 年 后 ， 我 的 观点 终于 得 
以 验证 一 一 整个 世界 都 在 讨论 多 核 以 及 如 何 发 挥 其 优势 。 


学 习 并 发 不 仅 是 为 了 利用 多 核 来 获得 更 好 的 性 能 。 厦 正确 使 用 并 发 ， 
T See E 0 


关于 本 书 


本 书 延 续 了 Pragmatic Bookshelf 的 七 周 系列 丛书 (《 七 周 七 语言 》 《七 
周 七 数据 库 》L 《七 周 七 网 络 框架 》) 的 架构 ， 通 过 七 个 精 选 的 模型 帮 
助 读者 了 解 并 发 领域 的 轮廓 。 这 些 模型 中 ， 一 些 已 经 成 为 主流 ， 一 些 
很 快 会 成 为 主流 ， 另 一 些 虽 难以 成 为 主流 ， 但 在 特定 领域 会 威力 无 
穷 。 当 面 对 一 个 并 发 问题 时 ， 你 可 以 借助 本 书 准 确 选择 合适 的 工具 ， 
这 就 是 我 的 期 望 所 在 。 


1 本 书 中 文 版 电子 书 在 图 灵 社 区 有 售 : “http://www.ituring.com.cn/book/1369 ° 编者 注 


本 书 的 每 一 章 都 设计 成 三 天 的 阅读 量 。 每 天 阅读 结束 都 会 有 相关 练 
eee 章 均 有 复习 ， 用 于 概括 本 章 模型 的 
点 和 缺陷 。 


尽管 有 少量 具有 哲学 意味 的 讨论 ， 但 本 书 还 是 侧重 于 实践 。 我 强烈 建 
议 你 在 阅读 样 例 时 能 杀手 实践 一 下 一 一 没什么 比 代码 更 有 说 服 力 了 。 


本 书 未 涉及 的 内 容 


本 书 不 是 语言 参考 手册 。 我 们 会 使 用 一 些 较 新 的 语言 ， 例 如 Elixir 和 
Clojure， 但 本 书 关 注 的 是 并 发 而 不 是 编程 语言 ， 所 以 不 会 深入 介绍 这 
些 语言 的 具体 特性 。 希 望 你 通过 上 下 文 可 以 初步 了 解 这 些 语言 的 主要 
特性 ， 如 果 要 对 其 深入 探 客 以 期 充分 理解 ， 束 得 依靠 自身 的 努力 了 。 
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本 书 不 是 安装 配置 手册 。 要 运行 本 书 的 配套 代码 ， 就 需要 安装 和 运行 
相应 工具 一 一 配套 代码 的 README 文 件 会 给 出 一 些 提示 ， 但 还 是 要 依 
靠 你 目 己 。 本 书 所 有 的 样 例 都 采用 主流 工具 编写 ， 如 果 遇 到 困难 ， 你 
可 以 在 网 络 上 找到 许多 帮助 资料 。 


本 书 也 不 是 面面俱到 一 一 无 法 守 括 所 有 议题 的 每 个 细节 。 对 于 某 些 议 
题 ， 本 书 会 一 笔 带 过 或 者 根本 不 予 讨 论 。 在 某 些 革 市 中 ， 我 会 特意 使 
用 一 些 不 规范 的 代码 ， 目 的 是 便于 不 熟悉 该 语言 的 读者 来 理解 代码 。 
a 意 深入 学 习 本 书 中 的 某 种 技术 ， 建 议 阅 读本 书 所 提 及 的 权威 


样 例 代码 


本 书 讨论 的 所 有 样 例 都 可 以 从 本 书 的 网 站 ?下载 。 每 个 样 例 都 包括 源码 
和 构建 系统 。 对 于 每 一 种 语言 ， 本 书 都 选用 最 通用 的 构建 系统 (Java 使 
用 Maven，Clojure 使 用 Leiningen，Elixir 使 用 Mix，Scala 使 用 sbt，C 使 用 
GNU Make) 


2 http://pragprog.com/book/pb7con 


大 多 数 情况 下 ， 构 建 系 统 不 仅 会 编译 代码 ， 而 且 会 下 载 所 需 的 额外 依 
赖 。sbt 和 Leiningen 其 至 会 下 载 对 应 版 本 的 Scala 和 Clojure 的 编译 侣 ， 所 
eee (在 网 络 上 可 以 找到 详尽 的 安装 
YR) ° 


不 过 第 7 章 中 使 用 的 C 代 码 是 个 特例 ， 需 要 根据 你 的 操作 系统 和 显卡 类 
= ee (除非 你 使 用 的 是 Mac， 因 为 Xcode 会 搞定 
一 切 ) o 


给 IDE 用 户 的 建议 


本 书 使 用 的 构建 系统 都 在 命令 行 下 测试 通过 。 如 果 你 是 成 熟 的 IDE 用 
户 ， 一 定 知 道 如 何 将 构建 系统 导入 到 IDE 中 一 一 大 多 数 IDE 都 会 兼容 


Maven， 主 流 IDE 也 都 有 兼容 sbt 和 Leiningen 的 插件 。 不 过 我 没有 在 IDE 
中 测试 过 ， 所 以 你 与 我 一 样 使 用 命令 行 也 许 会 容易 一 些 。 
给 Windows 用 户 的 建议 


所 有 的 样 例 均 在 OS XX 和 Linux 上 测试 通过 。 理 论 上 ， 它 们 也 可 以 在 
Windows 上 运行 展 好 ， 但 我 并 没有 验证 过 。 


第 7 章 中 使 用 的 C 代 码 是 个 特例 ， 其 使 用 了 GNU Make 和 GCC。 理 论 上 
是 能 被 迁移 到 Visual C++ 中 ， 但 我 没有 演 试 过 这 种 可 能 。 


在 线 资 源 


本 书 中 的 样 例 都 可 以 在 本 书 网 站 上 找到 。 如 有 宁 你 要 提 区 勘误 或 者 给 出 
建议 ， 也 可 以 在 网 站 上 找到 勘误 表格 和 交流 论坛 。 


Paul Butcher 
Ten Tenths Consulting 


paul@tententhsconsulting.com 


2014 年 6 月 于 英国 剑桥 
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当 我 宣告 决定 写本 书 时 ， 一 个 朋友 提醒 道 :“ 你 是 不 是 已 经 态 记 写 第 一 
本 书 时 的 艰 茸 了? "我 当时 一 定 是 太 天 真 ， 误 认为 写 第 二 本 书 会 容易 一 
些 。 现 在 想来 ， 如 果 不 参与 七 周 系列 丛书 ， 而 是 选择 容易 一 些 的 题 
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第 1 章 概述 


并 发 编程 的 概念 并 不 新 ， 却 直到 最 近 才 火 起 来 。 一 些 编程 语言 ， 如 
Erlang、Haskell、Go、Scala、Clojure， 也 因 对 并 发 编程 提供 了 民 好 的 
文 持 ， 而 受到 广泛 关注 。 

并 发 编程 复兴 的 主要 驱动 力 来 目 于 历 谓 的 多 核 危 机 ”。 。 正如 摩尔 定律 1 


所 预言 的 那样 ， 必 请 性 能 仍 在 不 断 提高 ，CPU 的 速度 会 继续 提升 ， 但 
计算 机 的 发 展 方向 已 然 转 向 多 核 化 。 


1 http://en.wikipedia.org/wiki/Moore%27s_law 


?作者 在 本 章 不 断 使 用 “core”CPU”“processor"， 译 者 在 此 尊重 原文 分 别 翻译 成 “ 核 >%CPU” 处 
理 器 "”。 但 译 者 认为 此 处 指 的 都 是 广义 的 处 理 单元 ， 而 不 是 狭义 的 硬件 。 一 一 译 者 注 


Herb Sutter 曾 经 说 过 : “免费 午餐 的 时 代 已 然 终 结 。” 为 了 让 代码 运行 
得 更 快 ， 单 纯 依 靠 更 快 的 硬件 已 无 法 满足 要 求 ， 我 们 需要 利用 多 核 ， 
也 就 是 发 据 并 行 执行 的 潜力 。 


3 http://www.gotw.ca/publications/concurrency-ddj.htm 


1.1 并 发 还 是 并 行 ? 


本 书 的 主题 是 “并 发 >， 那 么 又 为 何 涉及 了 “并行 ? 呢 ? 虽然 两 着 有 所 关联 
又 第 被 混淆 ， 但 并 发 和 并 行 的 含义 却 是 不 同 的 。 


一 字 之 差 也 是 差 


并 发 程序 售 有 多 个 逻辑 上 的 独立 执行 块 4 ， 它 们 可 以 独立 地 并 行 执行 ， 
也 可 以 串 行 执行 。 


4 原文 是 “logical threads of control”*"， 直 译 为 “控制 逻辑 线程 "， 但 在 此 语 境 下 “控制 ”或 “线程 ” 指 
的 并 不 是 我 们 常见 的 “控制 * 和 “线程 >。 为 便于 理解 ， 在 此 将 其 译 成 “独立 执行 块 "， 这 个 概念 
来 自 于 Google IO 2012 的 演讲 “Go concurrency patterns” 中 引用 的 文档 “Concurrency is not 
Parallelism” (http://tinyurl.com/goconcnotpar ) ， 其 将 这 个 概念 称 为 “independently executing 
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processes”。 一 一 译 者 注 


并 行 程序 解决 问题 的 速度 往往 比 串 行程 序 快 得 多 ， 因 为 其 可 以 同时 执 

Ra 
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我 们 还 可 以 从 另 一 种 角度 来 看 待 并 发 和 并 行 之 间 的 差异 : 并 发 是 问题 

域 中 的 概念 一 一 程序 需要 被 设计 成 能 够 处 理 多 个 同时 (或 者 几乎 同 
BY) 发 生 的 事件 ， 而 并 行 则 是 方法 域 中 的 概念 一 一 通过 将 问题 中 的 多 
个 部 分 并 行 执行 ， 来 加 速 解决 问题 。 


引用 Rob Pike 的 经 典 描 述 ? : 


3 http://concur.rspace.googlecode.com/hg/talk/concur.html 
并 发 是 同一 时 间 应 对 (dealing with) 多 件 事情 的 能 
并 行 是 同一 时 间 动 手 做 (doing) 多 件 事 情 的 能 力 。 


那么 这 本 书 讲述 的 是 并 发 还 是 并 行 ? 
小 乔 爱 问 : 
并 发 ? 并 行 ? 


我 麦子 是 一 位 教师 。 与 众多 教师 一 样 ， 她 极其 善于 处 理 多 个 任 
务 。 她 虽然 每 次 只 能 做 一 件 事 ， 但 可 以 同时 处 理 多 个 任务 。 比 
如 ， 在 听 一 位 学 生 朗 读 的 时 候 ， 她 可 以 暂停 学 生 的 朗读 ， 以 维持 
课 特 秩序 ， 或 者 回答 学 生 的 问题 。 这 是 并 发 ， 但 并 不 并 行 (因为 
仅 有 她 一 个 人 ， 某 一 时 刻 只 能 进行 一 件 事 ) 。 


但 如 条 还 有 一 位 助教 ， 则 她 们 中 一 位 可 以 聆听 表 读 ， 而 同时 兄 一 
位 可 以 回答 问题 。 这 种 方式 既是 并 发 ， 也 是 并 行 。 


假设 班级 设计 了 目 己 的 货 卡 并 要 批量 制作 。 一 种 方法 是 让 每 位 学 
生 制 作 五 枚 人 贺卡。 这 种 方法 是 并 行 ， 而 (从 整体 看 ) 不 是 并 发 ， 
因为 这 个 过 程 整体 来 说 只 有 一 个 任务 。 


超越 串 行 编程 模型 


并 发 和 并 行 的 共同 点 就 是 它们 比 传统 的 串 行 编程 模型 更 优秀 。 本 书 将 
同时 涵盖 并 发 和 并 行 (学 究 可 能 会 给 这 本 书 起 名 为 “七 周 七 并 发 模型 和 
并 行 模型 ”， 不 过 那样 的 话 ， 封 面 会 变 得 很 难看 ) 。 


并 发 和 并 行经 党 被 混 清 的 原因 之 一 是 ， 传 统 的 “线程 与 锁 * 模 型 并 没有 
显 式 文 持 并 行 。 如 条 要 用 线程 与 锁 模 型 为 多 核 进行 开发 ， 唯 一 的 选择 
就 是 写 一 个 并 发 的 程序 ， 并 行 地 运行 在 多 核 上 。 


然而 ， 并 发 程序 的 执行 通常 是 不 确定 的 ， 它 会 随 着 事件 时 序 的 改变 而 
给 出 不 同 的 结果 。 对 于 真正 的 并 发 程序 ， 不 确定 性 是 其 与 生 俱 来 且 伴 
随 始终 的 属性 。 与 之 相反 ， 并 行程 序 可 能 是 确定 的 一 一 例如 ， 要 将 数 
组 中 的 每 个 数 都 加 倍 ， 一 种 做 法 是 将 数组 分 为 两 部 分 并 把 它们 分 别 交 
给 一 个 核 处 理 ， 这 种 做 法 的 运行 结 采 是 确定 的 。 用 文 持 并 行 的 编程 语 
言 可 以 写 出 并 行程 序 ， 而 不 引入 不 确定 性 。 


1.2 ”并行 架构 


人 们 通常 认为 并 行 等 同 于 多 核 ， 但 现代 计算 机 在 不 同 层次 上 都 使 用 了 
并 行 技术 。 比 如 说 ， 单 核 的 运行 速度 现今 仍 能 每 年 不 断 提 升 的 原因 
征 : 单 核 包含 的 品 体 管 数量 ， 如 同 摩 尔 定律 预测 的 那样 变 得 越 来 越 
而 单 核 在 位 级 和 指令 级 两 个 层次 上 都 能 够 并 行 地 使 用 这 些 晶体管 
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位 级 (bit-level) 并 行 


为 什么 32 位 计算 机 的 运行 速度 比 8 位 计算 机 更 快 ? 因为 并 行 。 对 于 两 个 
32 位 数 的 加 法 ，8 位 计算 机 必须 进行 多 次 8 位 计算 ， 而 32 位 计算 机 可 以 
一 步 完 成 ， 即 并 行 地 处 理 32 位 数 的 4 子 廊 。 


计算 机 的 发 展 经 历 了 8 位 、16 位 、32 位 ， 现 在 正 处 于 64 位 时 代 。 然 而 由 
位 升级 带 来 的 性 能 改善 是 存在 瓶 贷 的 ， 这 也 正 是 短期 内 我 们 无 法 步 入 
128 位 时 代 的 原因 。 


指令 级 (instruction-level) 并 行 


现代 CPU 的 并 行 度 很 高 ， 其 中 使 用 的 技术 包括 流水 线 、 乱 序 执行 和 猜 
测 执行 等 。 


程序 员 通常 可 以 不 关心 处 理 器 内 部 并 行 的 细节 ， 因 为 尽管 处 理 器 内 部 
的 并 和 度 很 高， 但 是 经 过 精心 设计 ， 从 外 部 看 上 去 所 有 处 理 邦 人 是 
行 的 。 


而 这 种 “看 上 去 像 串 行 "的 设计 逐渐 变 得 不 适用 。 处 理 器 的 设计 者 们 为 
单 核 提升 速度 变 得 越 来 越 困难 。 进 入 多 核 时 代 ， 我 们 必须 面 对 的 情况 
是 ;无论 是 表面 上 还 是 实质 上 ， 指 令 都 不 再 品行 执行 了 。 我 们 将 在 2.2 
节 的 "内存 可 见 性 "部 分 展开 讨论 。 


数据 级 (data) 并 行 

数据 级 并 行 也 称 为 “ 单 指令 多 数据 *，SIMD) 架构 ， 可 以 并 行 地 在 大 
量 数据 上 施加 同一 操作 。 这 并 不 适合 解决 所 有 问题 ， 但 在 适合 的 场景 
却 可 以 大 展 吴 手 。 


图 像 处 理 就 是 一 种 适合 进行 数据 级 并 行 的 场景 。 比 如 ， 为 了 增加 疼 片 
亮度 就 需要 增加 每 一 个 像素 的 亮度 。 现 代 GPU (图 形 处 理 器 ) 也 因 图 


像 处 理 的 特点 而 演化 成 了 极其 强大 的 数据 并 行 处 理 器 。 

任务 级 (task-level) 并 行 

终于 来 到 了 大 家 所 认为 的 并 行 形式 一 一 多 处 理 器 。 从 程序 员 的 角度 来 
看 ， 多 处 理 器 架构 最 明显 的 分 类 特征 是 其 内 存 模 型 (共享 内 存 模型 或 
分 布 式 内 存 模型 ) 。 


对 于 共享 内 存 的 多 处 理 器 系统 ， 每 个 处 理 器 都 能 访问 整个 内 存 ， 处 理 
堪 之 间 的 通信 主要 通过 内 存 进行 ， 如 图 1-1 所 示 。 


图 1-1 共享 内 存 的 多 处 理 器 系统 


对 于 分 布 式 内 存 的 多 处 理 套 系统 ， 每 个 处 理 郁 都 有 目 己 的 内 存 ， 处 理 
绥 之 间 的 通信 主要 通过 网 络 进行 ， 如 图 1-2 所 示 。 


图 1-2 分 布 式 内 存 的 多 处 理 器 系统 


通过 内 存 通信 比 通过 网 络 通信 更 简单 更 快速 ， 所 以 用 共 圣 内 存 编程 往 

往 更 容易 。 然 而 ， 当 处理 恬 个 数 逐 渐 增 多 ， 共 至 内 存 束 会 遭遇 性 能 瓶 

贷 一 一 此 时 不 得 不 转向 分 布 式 内 存 。 如 末 要 开发 一 个 容错 系统 ， 束 要 

aaa a Parnes 
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13 并 发 : 不 只 是 多 核 

使 用 并 发 的 目的 ， 不 仅仅 是 为 了 让 程序 并 行 运行 从 而 发 挥 多 核 的 优 
人 
Fo Tey ER o 

并 发 的 世界 ， 并 发 的 软件 

世界 是 并 发 的 ， 为 了 与 其 有 效 地 交互 ， 软 件 也 应 是 并 发 的 。 

手机 可 以 同时 播放 音乐 上 网 浏览 、 啊 应 触 屏 动作 。 我 们 在 IDE 中 输入 
代码 时 ，IDE 正 在 后 台 悄 悄 检查 代码 语法 。 飞 机 上 的 系统 也 同时 兼顾 了 


好 儿 件 事情 : 监控 传 感 右 、 在 仪表 盘 上 显示 信息 、 执 行 指令 、 操 纵 飞 
tT AEE RITA ° 


并 发 是 系统 及 时 啊 应 的 关键 。 比 如 ， 当 文件 下 载 可 以 在 后 台 进 行 时 ， 
用 户 束 不 必 一直 盯 着 鼠标 沙漏 而 烦心 了 。 再 比如 ，Web 服 务 器 可 以 并 发 
地 处 理 多 个 连接 请 求 ， 一 个 慢 请 求 不 会 影响 服务 器 对 其 他 请 来 的 啊 
AV œ 


分 布 式 的 世界 ， 分 布 式 的 软件 


有 时 ， 我 们 要 解决 地 理 分 布 型 问题 。 软 件 在 非 同步 运行 的 多 人 台 计 算 机 
上 分布 式 地 运行 ， 其 本 质 是 并 发 。 


此 外 ， 分 布 式 软件 还 具有 容 蚀 性 。 我 们 可 以 将 服务 右 一 半 部 姥 在 欧 
洲 ， 男 一 半 部 署 在 美国 ， 这 样 如 采 一 个 区 域 停电 束 不 会 造成 软件 整体 
不 可 用 。 下 面 就 介绍 容错 性 6 。 

6 作者 在 此 处 到 了 两 个 词 : fault-tolerant 和 resilient， 中 文 都 译 为 “容错 性 ”， 但 两 者 略 有 区 


两 
别 。 由 于 这 种 微小 的 区 别 不 会 影响 对 本 书 的 理解 ， 因 此 之 后 的 译文 不 再 区 分 两 者 ， 统 一 使 
3“ 容 错 性 ”以 方便 读者 理解 。 一 一 译 者 注 


不 可 预测 的 世界 ， 容 错 性 强 的 软件 


软件 有 bug， 程 序 会 朋 演 。 即 使 存在 完美 的 没有 bug 的 程序 ， 运 行程 序 
的 硬件 也 可 能 出 现 故 障 。 


为 了 增强 软件 的 容错 性 ， 并 发 代码 的 关键 是 独立 性 和 故障 检测 。 独 立 
性 是 指 一 个 故障 不 会 影响 到 故障 任务 以 外 的 其 他 任务 。 故 障 检测 是 指 
当 一 个 任务 失败 时 (原因 可 能 是 任务 崩溃 、 失 去 响应 或 硬件 故障 )， 

需要 通知 负责 故障 处 理 的 其 他 任务 来 处 理 。 


捉 行程 序 的 容错 性 远 不 如 并 发 程序 。 

复杂 的 世界 ， 简 单 的 软件 

如 琳 曾 经 花费 数 小 时 纠结 在 一 个 难以 诊断 的 多 线程 bug 上 ， 那 你 可 能 很 
难 接受 这 个 绪论， 但 在 选 对 编程 语言 和 工具 的 情况 下 ， 比 起 串 行 的 等 
价 解决 方案 ， 一 个 并 发 的 解决 方案 会 更 简洁 清晰 。 


在 处 理 现实 世界 的 并 发 问题 时 ， 这 个 结论 可 以 得 到 印证 。 用 串 行 方案 
解决 一 个 并 发 问题 往往 需要 付出 额外 的 代价 ， 而 且 解 决 方案 会 上 泌 难 


懂 。 如 果 解 决 方案 有 着 与 问题 类 似 的 并 发 结构 ， 束 会 简单 许多 : 我 们 
不 需要 创建 一 个 复杂 的 线程 来 处 理 问 题 中 的 多 个 任务 ， 只 需要 用 多 个 
简单 的 线程 分 别处 理 不 同 的 任务 即 可 。 


1.4 ”七 个 模型 
本 书 精心 挑选 了 七 个 模型 来 介绍 并 发 与 并 行 。 


线程 与 锁 : 线程 与 锁 模 型 有 很 多 众所周知 的 不 足 ， 但 仍 是 其 他 模型 的 
技术 基础 ， 也 是 很 多 并 发 软件 开发 的 自 克 。 


函数 式 编程 : 函数 式 编程 日 渐 重 要 的 原因 之 一 ， 是 其 对 并 发 编程 和 并 
行 编 程 提供 了 民 好 的 文 持 。 画 数 式 编程 消除 了 可 变 状 态 ， 所 以 从 根本 
上 是 线程 安全 的 ， 而 且 易 于 并 行 执行 。 


Clojure 之 道 一 一 分 离 标识 与 状态 : 编程 语言 Clojure 是 一 种 指令 式 编 程 
和 了 汞 数 式 编程 的 混搭 方案 ， 在 两 种 编程 方式 上 取得 了 微妙 的 平衡 来 发 
挥 两 者 的 优势 。 


actor : actor 模 型 是 一 种 适用 性 很 广 的 并 发 编程 模型 ， 适 用 于 共享 内 存 
和 
容错 性 。 


通信 顺序 进程 (Communicating Sequential Processes，CSP) : 表面 上 
看 ，CSP 模 型 与 actor 模 型 很 相似 ， 两 者 都 基于 消 居 传递 。 不 过 CSP 模 型 
侧重 于 传递 信息 的 通道 ， 而 actor 模 型 侧重 于 通道 两 端的 实体 ， 使 用 CSP 
模型 的 代码 会 带 有 明显 不 同 的 风格 。 


数据 级 并 行 ， 每 个 笔记 本 电脑 里 都 藏 着 一 台 超级 计算 机 一 一 GPU 。 
GPU 利用 了 数据 级 并 行 ， 不 仅 可 以 快速 进行 独 像 处 理 ， 也 可 以 用 于 更 
广阔 的 领域 。 如 来 要 进行 有 限 元 分 析 、 流 体力 学 计算 或 其 他 的 大 量 数 
字 计 算 ，GPU 的 性 能 将 是 不 二 选择 。 


Lambda 架 构 : 大 数据 时 代 的 到 来 离 不 开 并 行 一 一 现在 我 们 只 需要 增加 
计算 唤 产 ， 束 能 具有 处 理 TB 级 数据 的 能 力 。 Lambda 架 构 综合 了 
Md 


以 上 每 种 模型 都 有 各 目的 甜 区 ”。 请 带 着 以 下 的 问题 来 阅读 之 后 的 章 
Td ° 


7 球 类 运动 中 球拍 上 最 适合 击 球 的 区 域 。 一 一 译 者 注 
。 这 个 异型 适用 于 解决 并 发 问题 、 并 行 问 题 ， 还 是 两 背 缘 可 ? 
。 这 个 模型 适用 于 哪 种 并 行 染 构 ? 


(ah 


。 这 个 模型 是 否 有 利于 我 们 写 出 容错 性 强 的 代码 ， 或 用 于 解决 分 布 
式 问 题 的 代码 ? 


下 一 章 将 介绍 第 一 个 模型 : 线程 与 锁 模 型 。 


第 2 章 线程 与 锁 


线程 与 锁 模 型 就 像 一 辆 福特 T 型 车 ， 驾 驶 它 可 以 到 达 目 的 地 ， 但 与 新 的 
技术 相 比 ， 它 显得 原始 且 难 以 驾驭， 不 可 靠 还 有 点 儿 危 险 。 


抛 开 那 些 众 所 周知 的 缺点 ， 线 程 与 锁 模 型 仍 是 开发 并 发 软件 的 首选 技 
术 ， 它 也 文 撑 了 本 书 将 要 介绍 的 其 他 技术 。 你 可 能 不 会 直接 用 到 这 个 
模型 ， 但 也 应 该 了 解 它 是 如 何 工作 的 。 


2.1 简单 粗暴 


线程 与 饥 模 型 其 实 是 对 底层 硬件 运行 过 程 的 形式 化 。 这 种 形式 化 既 旦 
该 模型 最 大 的 优点 ， 也 坪 它 最 大 的 缺点 。 


线程 与 尔 模 型 非常 简单 直接 ， 几 乎 所 有 编程 语言 都 以 某 种 形式 对 其 所 
供 了 支持 ， 且 不 对 其 使 用 方式 加 以 限制 。 换 句 话 说 ， 对 于 不 精通 该 模 
ee eee 
ble o 


我 们 将 借助 Java 语 言 来 学 习 线 程 与 锁 模 型 ， 但 所 述 内 容 也 适用 于 其 他 语 
言 。 第 一 天 ， 将 学 习 Java 的 多 线程 代码 、 潜 在 的 坑 以 及 一 些 避 免 踩 坑 的 
原则 。 第 二 天 ， 将 进一步 学 习 java.util.concurrent 包 提 供 的 工 
具 。 人 第 三 天 ， 学 习 一 些 由 标准 库 提 供 的 并 发 数据 结构 ， 尝 试 使 用 其 解 
决 一 个 现实 问题 。 


最 佳 实践 


第 一 天 的 学 习 将 从 Java 提 供 的 辰 层 服务 开始 。 现 在 的 优秀 代码 很 少 
直接 使 用 底层 服务 ， 而 钙 使 用 将 在 随后 讨论 的 高 层 服 务 。 要 理解 
高 层 服务 ， 我 们 必须 先 理解 基础 的 底层 服务 ， 但 请 注意 : 不 应 在 
产品 代码 上 直接 使 用 Thread 类 等 底层 服务 。 


2.2 ”第 一 天 : 互 斥 和 内 存 模 型 


如 果 你 曾经 接触 过 并 发 编程 ， 那 一 定 熟 悉 互 不 这 个 概念 一 一 用 锁 保 证 
某 一 时 间 仅 有 一 个 线程 可 以 访问 数据 。 你 也 肯定 败 悉 互 斥 融 来 的 麻 
烦 ， 比 如 说 兑 态 条 件 和 死 锁 “(如 果 对 此 不 熟悉 也 无 妨 ， 稍 后 都 会 介 
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导致 一 系列 很 奇怪 的 现象 ， 那 就 对 共享 内 存 的 诡异 程度 拭目以待 吧 。 
想 超越 目 我 ? 让 我 们 从 创建 一 个 线程 开始 。 

创建 线程 


Java 中 ， 并 发 的 基本 单元 是 线程 ， 可 以 将 线程 看 作 控制 流 (thread of 
control) 。 线 程 之 间 通 过 共享 内 存 进行 通信 。 


— Wate SUA + “Hello, World!”。 我 们 也 不 免 俗 地 来 个 多 线程 
WAR: 


ThreadsLocks/HelloWorld/src/main/java/com/paulbutcher/HelloW 
orld.java 


public class 
Helloworld { 
public static void 
main(String[] 
args) throws 


InterruptedException { 
Thread 


myThread = new Thread 


O { 


public void 


run() { 
System 


.out.printin("Hello from new thread 


"); 
} 
}; 
myThread.start(); 
Thread 


.yield(); 
System 


.out.printin("Hello from main thread 


myThread.join(); 


这 段 代 码 创 建 并 启动 了 一 个 Thread 实例 。 首 先 从 start() 开始 ， 
myThread.run() 函数 与 main( ) 函数 的 余下 部 分 一 起 并 发 执行 。 最 
后 main 线程 调用 join() 来 等 竺 nyThread 线程 结束 〈 即 run( ) 函数 
返回 ) 。 


运行 这 段 代码 的 结 采 可 能 是 


Hello from main thread 
Hello from new thread 


Hello from new thread 
Hello from main thread 


究竟 是 哪 种 运行 结果 完全 取决 于 哪个 线程 移 执 行 printlLn() (我 的 测 
试 结果 是 各 占 50%) 。 多 线程 编程 很 难 的 原因 之 一 就 是 运行 结果 可 能 依 
赖 于 时 序 ， 多 次 运行 的 结果 并 不 稳定 。 

小 乔 爱问 : 

Thread.yield 的 作用 ? 


在 多 线程 版 本 的 “Hello, World!”* 中 我 们 使 用 了 Thread.yield() 
， 根 据 相 关 的 Java 文 档 ， 其 作用 是 : 


通知 调度 器 : 当前 线程 想 要 让 出 对 处理 器 的 占用 。 


如 果 不 调 用 Thread.yield() ， 由 于 创建 新 线程 要 花费 一 些 时 
间 ， 那 么 main 线程 几乎 肯定 会 完 执 行 printlin() (当然 并 不 保 
证 一 定 会 如 此 一 一 稍 后 我 们 将 学 到 一 个 规律 并 发 编程 中 如 果 某 
事 可 能 会 发 生 ， 那 么 不 论 多 艰难 它 一 定 会 发 生 ， 而 且 可 能 发 生 在 
最 不 利 的 时 刻 ) 。 


试 将 Thread ,yie1ld() 注释 挤 ， 看 看 会 发 生 什 么 。 如 有 果 换 成 
Thread.sleep(1) Ye? 


第 一 把 锁 


多 个 线程 同时 使 用 共享 内 存 时 ， 它 们 往往 会 < 打成一片 ”。 为 避免 如 
此 ， 我 们 可 以 使 用 锁 达到 线程 互 斥 的 目的 ， 即 某 一 时 间 至 多 有 一 个 线 


程 能 择 有 锁 。 
先 创 建 两 个 线程 ， 并 使 其 交互 : 


ThreadsLocks/Counting/src/main/java/com/paulbutcher/Counting.j 
ava 


public class 


Counting { 
public static void 


main(String[] 
args) throws 


InterruptedException { 
class 


Counter { 
private int 


count = 0; 
public void 


increment() { ++count; } 
public int 


getCount() { return 
count; } 

} 

final 


Counter counter = new 


Counter (); 
class 


CountingThread extends Thread 


public void 


run() { 


for 


(int 


x = 0; x < 10000; ++x) 
counter.increment(); 
} 


CountingThread t1 = new 


CountingThread(); 
CountingThread t2 = new 


CountingThread(); 
ti.start(); t2.start(); 
t1.join(); t2.join(); 
System 


.out.println(counter.getCount()); 


这 段 代 码 创 建 了 一 个 简单 的 counter 类 和 两 个 线程 ， 每 个 线程 都 调用 
counter.increment() 10 000 次 。 这 段 代码 看 上 去 很 简单 但 很 脆 


运行 这 段 代 码 ， 每 次 都 将 获得 不 同 的 结果 。 最 后 三 次 测试 的 结果 是 

13850 ` 11867 和 12616。 产 生 这 个 结果 的 原因 是 两 个 线程 使 用 

ue count 对 象 时 发 生 了 竞 态 条 件 〈“ 即 代码 行为 取决 于 各 操作 
JE RF) œ 


如 果 不 能 理解 上 面 这 段 话 ， 那 让 我 们 来 考 虚 一 下 Java 编 译 器 是 如 何 解释 
++count 的 。 其 字 节 码 是 : 


getfield #2 
iconst_1 
iadd 
putfield #2 


即使 你 不 熟悉 JVM 字 节 码 ， 也 可 以 揣测 出 这 段 代 码 的 意图 : getfield 

#2 用 于 获取 count 的 值 ，iconst_1 和 iadd 将 获得 的 值 加 1 

putfield #2 将 更 新 的 值 写 回 count 中 。 这 就 是 通称 的 读 - 改 - 写 
(read-modify-write) 模式 。 


假如 两 个 线程 同时 调用 increment() ， 线 程 1 执行 getfie1d #2, 
获得 值 42。 在 线程 1 执行 其 他 动作 之 前 ， 线 程 2 也 执行 了 getfield #2 
， 获 得 值 42。 糟 烽 的 是 ， 现 在 两 个 线程 都 将 获得 的 值 加 1， 将 43 写 回 
count 中 。 结 果 count 只 被 递增 了 一 次 ， 而 不 是 两 次 。 
竞 态 条 件 的 解决 方案 是 对 count 进行 同步 (synchronize) 访问 。 一 种 
方法 是 使 用 Java 对 象 原生 的 内 置 锁 〈 也 被 称 为 互 斥 锁 (mutex) 、 管 程 
(monitor) 或 临界 区 (critical section) ) 来 同步 对 increment( ) 的 调 
H: 


ThreadsLocks/CountingFixed/src/main/java/com/paulbutcher/Cou 
nting.java 
class 


Counter { 
private int 


count = 0; 
> public synchronized void 


increment() { ++count; } 
public int 


getCount() { return 


count; } 


线程 进入 increment ( ) 函数 时 ， 将 获取 Counter RRAIKI, B 
数 返 回 时 将 释放 该 锁 。 某 一 时 间 至 多 有 一 个 线程 可 以 执行 函数 体 ， 其 
他 线程 调用 函数 时 将 被 阻塞 直到 锁 被 释放 〈 稍 后 我 们 将 了 解 到 : 对 于 
这 种 只 涉及 一 个 变量 的 互 不 场景 ， 使 用 
java.util.concurrnet.atomic 包 是 更 好 的 选择 ) 。 


毋庸 置疑 ， 对 于 增加 了 同步 功能 的 代码 ， 每 次 执行 都 将 得 到 正确 结 
20000 。 


但 前 路 漫漫 一 一 代码 中 仍 隐藏 了 一 个 bug， 我 们 马上 介绍 其 中 的 关 
诡异 的 内 存 


O° 


ait 


我 们 用 一 个 小 测试 来 开场 ， 请 猜测 一 下 这 段 代 码 的 输出 : 


ThreadsLocks/Puzzle/src/main/java/com/paulbutcher/Puzzle.java 


Line 1 public class 


Puzzle { 
- static boolean 


answerReady = false; 
- static int 


answer = 0; 
- static Thread 


ti = new Thread 
5 public void 


answer = 42; 
- answerReady = true; 
: } 
}; 
10 static Thread 


t2 = new Thread 


O ft 


- public void 


run() { m 
- i 


(answerReady) 
- System. 


out.println("The meaning of life is: 
" + answer); 
- else 
15 System 


.out.println("I don't know the answer 


"); 


} 
}; 


public static void 
main(String[] 
args) throws 
InterruptedException 


ti.start(); t2.start(); 
t1.join(); t2.join(); 
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的 时 序 ， 这 段 代码 的 输出 可 能 是 The meaning of life is XX 2X41 don't 
know the answer 。 但 不 止 于 此 ， 还 有 一 种 结果 可 能 是 : 


The meaning of life is: 0 


什么 ?! “4answerReady 为 true 时 answer 可 能 为 0 吗 ? 这 仿佛 是 第 6 
行 和 第 7 行 在 我 们 眼皮 底下 三 倒 了 执行 顺序 。 


但 是 乱 序 执行 是 完全 有 可 能 发 生 的 。 以 下 所 述 均 为 事实 : 
。 编译 融 的 静态 优化 可 以 打 乱 代码 的 执行 顺序 ; 
。JVM 的 动态 优化 也 会 打 乱 代码 的 执行 顺序 ; 
。 硬件 可 以 通过 乱 序 执行 来 优化 其 性 能 。 


比 乱 序 执行 更 糟糕 的 是 ， 有 时 一 个 线程 产生 的 修改 可 能 对 男 一 个 线程 
不 可 见 。 如 采 将 run( ) 写成 : 


public void 


run() { 


while 


(!answerReady ) 


Thread 


.Sleep(100); 
System 


.out.println("The meaning of life is 


" + answer); 


answerReady 可 能 不 会 变 成 true ， 代 码 运 行 后 无 法 退出 。 


从 直觉 上 来 说 ， 编 译 釉 、JVM、 硬 件 都 不 应 插手 修改 原本 的 代码 逻 


辑 。 但 是 ， 近 几 年 的 运行 效率 提升 ， 尤 其 是 共享 内 存 架 构 的 运行 效率 
a a © 因此 我 们 也 无 法 摆脱 此 类 优化 的 副 作 
IFAR 


显然 ， 需 要 有 标准 来 明确 告诉 我 们 ， 可 能 发 生 怎样 的 副作用 ， 这 就 是 
Java 内 存 模 型 。 


内 存 可 见 性 


Java 内 存 模型 定义 了 何 时 一 个 线程 对 内 存 的 修改 对 另 一 个 线程 可 见 1。 
基本 原则 是， 如 采 读 线程 和 写 线程 不 进行 同步 ， 吏 不 能 保证 可 见 性 。 


1 http://docs.oracle.com/javase/specs/jls/se7/html/jls-17.html#jls-17.4 


我 们 已 经 见 过 一 种 同步 的 方法 一 -就 是 通过 获取 对 象 的 内 置 锁 。 其 他 
的 方法 包括 : 开启 一 个 线程 并 通过 join( ) 检查 线程 是 否 已 经 终止 ;使 
Ħjava.util.concurrent 包 提 供 的 工具 。 


很 容易 被 忽略 的 一 个 重点 是 : 两 个 线程 都 需要 进行 同步 。 只 在 其 中 一 
个 线程 进行 同步 是 不 够 的 ， 这 正 是 之 前 竞 态 条 件 解决 方案 中 潜藏 bug 的 
原因 : 除了 increment() 之 外 ，getCount() 方法 也 需要 进行 同 
步 。 否 则 ， 调 用 getcount ( ) 的 线程 可 能 获得 一 个 失效 的 值 (对 于 前 
面 交 互 的 两 个 线程 ，getcount() 在 join() 之 后 被 调用 ， 因 此 是 线 
。 但 这 种 设计 为 其 他 调用 getCounter( ) 的 代码 埋 下 了 隐 


至 此 ， 我 们 讨论 了 苋 态 条 件 和 内 存 可 见 性 ， 这 两 类 问题 都 可 能 让 多 线 
程 程序 运行 结果 出 错 。 下 面 我 们 将 介绍 第 三 类 问题 : 死 锁 。 


多 把 锁 


综 上 所 述 ， 很 容易 得 出 一 个 结论 : 让 多 线程 代码 安全 运行 的 方法 只 能 
征 让 所 有 的 方法 都 同步 。 然 而 ， 这 也 会 市 来 问题 。 
首先 这 样 做 效率 低下 。 如 采 每 个 方法 都 同步 ， 大 多 数 线程 会 频 烷 阻 


塞 ， 使 程序 失去 了 并 发 的 意义 。 问 题 不 止 于 此 ， 当 使 用 多 把 锁 时 Java 
中 每 一 个 对 象 都 有 自己 的 内 置 锁 * ) ， 线 程 之 间 可 能 发 生死 锁 。 


?2 对 不 同 对 象 的 方法 进行 同步 就 会 用 到 多 把 锁 。 一 一 译 者 注 
我 们 将 借助 一 个 学 术 论文 中 经 党 使 用 的 经 典 模 型 来 诠释 死 锁 一 一 次 学 


家 进餐 问题 。 问 题 场景 是 五 位 哲学 家 围绕 一 个 圆桌 就 坐 ， 如 图 2-1 所 
示 ， 桌 上 摆 着 五 支 (不 是 五 双 ) 筷子 。 


图 2-1 哲学 家 进餐 问题 

哲学 家 的 状态 可 能 是 < 思考? 或者“ 饥 场 ”。 如 果 饥 俄 ， 哲 学 家 将 拿 起 他 两 
边 的 筷子 并 进餐 一 段 时 间 (SRK, ESR aE ATE, WEEER 
上 会 更 优雅 一 些 ) 。 进 餐 结 束 ， 哲 学 家 就 会 放 回 筷子 。 

下 面 的 代码 实现 了 哲学 家 的 行为 : 


ThreadsLocks/DiningPhilosophers/src/main/java/com/paulbutcher/ 
Philosopher.java 


Line 1 class 


Philosopher extends Thread 


- private 


Chopstick left, right; 
- private Random 


random; 


5 public 


Philosopher(Chopstick left, Chopstick right) { 
- this.left = left; this.right = right; 
- random = new Random 


- 3} 
10 public void 
run() { 
- try 
{ 
- while 
(true) { 
- Thread 
-sleep(random. next Int (1000) ) ; / 思考 一 段 时 间 
synchronized 
(left) { // 拿 起 筷子 1 
15 synchronized 
(right) { // 拿 起 筷子 2 
- Thread 


9 nextInt(1000)); // 进餐 一 段 时 间 
} 
2 } 


20 } catch 


(InterruptedException e) {} 
} 


第 14、15 行 使 用 了 另 一 种 方式 来 获取 对 象 的 内 置 锁 : 


synchronized(object ) 


3 第 一 种 方式 是 在 函数 上 使 用 synchronized 关 键 字 。 译 者 注 


在 我 的 计算 机 上 测试 过 五 个 哲学 家 实例 ， 它 们 可 以 愉快 地 运行 很 久 
(最 长 时 间 是 一 周 ) ， 直 到 某 个 时 刻 一 切 突然 都 停 了 下 来 。 

稍 加 分 析 束 知道 发 生 了 什么 : 如 果 所 有 哲学 家 同时 决定 进餐 ， 都 拿 起 

薄 手 边 的 筷子 ， 那 么 吏 无 法 进行 下 去 一 一 所 有 人 都 持 有 一 只 和 僻 子 并 等 

竺 右手 边 的 人 放下 筷子 。 这 时 死 锁 束 出 现 了 。 


一 个 线程 想 使 用 多 把 锁 时 ， 束 需要 考虑 死 锁 的 可 能 。 泣 运 的 是 ， 有 一 
Pa es 可 以 避 开 死 锁 一 一 总 是 按照 一 个 全 局 的 固定 的 顺序 获取 
FERI ° 


其 中 一 种 实现 如 下 ; 


ThreadsLocks/DiningPhilosophersFixed/src/main/java/com/paulbu 
tcher/Philosopher.java 


class 


Philosopher extends Thread 


{ 


> private 


Chopstick first, second; 
private Random 


random; 
public 


Philosopher(Chopstick left, Chopstick right) { 
> if 


(left.getId() < right.getId()) { 


> first = left; second = right; 
> } else 

{ 

> first = right; second = left; 
> 


random = new Random 


public void 


run() { 
try 
{ 
while 
(true) { 
Thread 

.Sleep(random.nextInt (1000) ); // 思考 一 段 时 间 
> synchronized 
(first) { // 拿 起 筷子 1 
> synchronized 
(second) { // 拿 起 筷子 2 

Thread 


.Sleep(random.nextInt(1000)); // 进餐 一 段 时 间 
} 


} 


} 
} catch 


(InterruptedException e) {} 
} 


} 


我 们 不 再 按 左 手边 和 右手 边 的 顺序 拿 起 筷子 ， 而 是 按照 筷子 的 编号 获 
得 编号 1 和 编号 2 的 锁 (我 们 并 不 关心 编号 的 具体 规则 ， 只 要 保证 编号 
是 全 局 唯一 且 有 序 的 ) 。 训 无 疑问 ， 现 在 晚宴 将 一 直 愉 快 地 进行 下 去 
MASKRA FE” 


不 难 想到 ， 如 采 获 取 锁 的 代码 写 得 比较 集中 ， 束 有 利于 维护 这 个 全 局 
顺序 。 而 对 于 规模 较 大 的 程序 ， 使 用 锁 的 地 方 比较 零散 ， 各 处 都 遵守 
这 个 顺序 就 变 得 不 太 实际 。 

小 乔 爱问 : 


可 以 用 对 象 的 散 列 值 作为 锁 的 全 局 顺序 吗 ? 


有 一 个 第 用 的 技巧 是 使 用 对 象 的 散 列 值 作为 锁 的 全 局 顺序 ， 类 似 
于 下 面 的 代码 : 

if 

(System 


.identityHashCode(left) < System 


.identityHashCode(right)) { 


first = left; second = right; 
} else 


first = right; second = left; 


这 个 技巧 的 好 处 是 适用 于 所 有 Java 对 象 ， 不 用 为 锁 对 象 专门 定义 并 
维护 一 个 顺序 。 但 是 对 象 的 散 列 值 并 不 能 保证 唯一 性 (虽然 几率 
很 小 ， 但 对 象 的 散 列 值 确实 可 能 重复 ) 。 我 的 建议 是 如 果 不 是 迫 
人 不得已; 不 要 使 用 这 个 技巧 * 


来 目 外 星 方 法 的 危害 
规模 较 大 的 程序 常用 监听 器 模式 (listener) 来 解 耦 模块 。 在 这 里 ， 我 


们 构造 一 个 类 从 一 个 URL 进 行 下 载 ， 并 用 ProgressListeners 监听 
下 载 的 进度 。 


ThreadsLocks/HttpDownload/src/main/java/com/paulbutcher/Dow 
nloader.java 


class 


Downloader extends Thread 


private InputStream 
in; 
private OutputStream 


out; 
private ArrayList 


<ProgressListener> listeners; 
public 
Downloader (URL 
url, String 
outputFilename) throws 
IOException { 
in = url.openConnection().getInputStream(); 


out = new FileOutputStream 


(outputFilename) ; 
listeners = new ArrayList 


<ProgressListener>(); 
public synchronized void 


addListener(ProgressListener listener) { 
listeners.add(listener); 


public synchronized void 


removeListener(ProgressListener listener) { 
listeners.remove(listener); 
} 


private synchronized void 


updateProgress(int 


n) { 


for 
(ProgressListener listener: listeners) 


listener.onProgress(n); 
} 


public void 


run() { 


int 


n = 0, total = 0; 
byte[] 


buffer = new byte 


[1024]; 


try 


while 


((n = in.read(buffer)) != -1) { 
out.write(buffer, 0, n); 
total += n; 
updateProgress(total); 


} 
out.flush(); 
} catch 


(IOException e) { } 


} 


addListener() » removeListener() #lupdateProgress() 都 
是 同步 方法 ， 多 线程 可 以 安全 地 使 用 这 些 方法 。 尽 管 这 段 代码 仅 使 用 
了 一 把 锁 ， 但 仍 隐藏 着 一 个 死 锁 陷阱 。 


陷阱 在 于 updateProgress() 调用 了 一 个 外 星 方 法 一 一 但 对 于 这 个 外 
星 方法 一 无 所 知 。 外 星 方法 可 以 做 任何 事情 ， 例 如 持 有 另外 一 把 锁 。 
这 样 一 来 ， 我 们 就 在 对 加 锁 顺 序 一 无 所 知 的 情况 下 使 用 了 两 把 锁 。 就 
像 前 面 提 到 的 ， 这 就 有 可 能 发 生死 锁 。 

唯一 的 解决 思路 是 避免 持 有 锁 时 调用 外 星 方 法 。 一 种 方法 是 在 遍历 之 
Bix listeners 进行 保护 性 复制 (defensive copy) ， 再 针对 这 份 副 
本 进行 遍历 : 


ThreadsLocks/HttpDownloadFixed/src/main/java/com/paulbutcher 
/Downloader.java 


private void 


updateProgress(int 


n) { 
ArrayList 


<ProgressListener> listenersCopy; 
synchronized 


(this) { 


> listenersCopy = (ArrayList 
<ProgressListener>)listeners.clone(); 
} 


for 


(ProgressListener listener: listenersCopy) 


} 


listener.onProgress(n); 


这 是 个 一 石 多 乌 的 方法 。 不 仅 在 调用 外 星 方法 时 不 用 加 锁 ， 而 且 大 大 
减少 了 代码 持 有 锁 的 时 间 。 长 时 间 地 持 有 锁 将 影响 性 能 (降低 了 程序 
的 并 发 度 ) ， 也 会 增加 死 锁 的 可 能 。 保 护 性 复制 也 修复 了 与 并 发 无 关 
的 另 一 个 bug 一 一 修复 后 如 采 监 听 需 在 onProgress() 中 调用 
removeListener() ， 将 不 会 影响 到 正在 进行 瑶 历 的 副本 。 
第 一 天 总 结 


第 一 天 的 学 习 即 将 结束 。 我 们 通过 代码 学 习 了 Java 多 线程 的 基础 ， 在 第 
二 天 的 学 习 中 将 介绍 标准 库 提供 的 更 好 的 实现 方式 。 


第 一 天 我 们 学 到 了 什么 
本 节 介 绍 了 如 何 创建 线程 ， 并 用 Java 对 象 的 内 置 锁 实现 互 不 。 还 介绍 了 
线程 与 色 模 型 这 来 的 三 个 主要 危害 一 一 邯 仿 条 件 、 死 锁 和 内 存 可 见 
性 ， 并 讨论 了 一 些 帮助 我 们 避免 危害 的 准则 : 

。 对 共享 变量 的 所 有 访问 都 需要 同步 化 ; 

。 读 线程 和 写 线程 都 需要 同步 化 ; 

。 按照 约定 的 全 局 顺序 来 获取 多 把 锁 ; 

。 当 持 有 锁 时 避免 调用 外 星 方法 ; 

。 持 有 锁 的 时 间 应 尽 可 能 短 。 
第 一 天 自习 
查找 


。 阅读 William Pugh 的 网 站 “Java 内 存 模型 ”。 
。 自学 JSR 133 (Java 内 存 模 型 ) 的 FAQ ° 


。 Java 内 存 模 型 是 如 何 保证 对 象 初始 化 是 线程 安全 的 ? 是 否 必须 通过 
加 锁 才 能 在 线程 之 间 安 全 地 公开 对 象 ? 


。 了解 反 模式 “双重 检查 锁 模 式 ”(double-checked locking) 以 及 为 什 
么 称 其 为 反 模式 。 
实践 


。 对 于 哲学 家 进餐 问题 ， 用 最 开始 有 和 死 锁 隐患 的 代码 做 一 些 试验 。 
壬 试 变 更 哲学 家 思考 状态 的 时 长 、 进 餐 状 态 的 时 长 以 及 哲学 家 的 
人 数 。 这 些 变量 对 于 出 现 死 锁 的 时 机 有 什么 影响 ? 设想 我 们 正在 
进行 调试 ， 那 应 该 如 何 增 关 重 现 死 锁 的 几率 ? 


(困难 ) 编写 一 段 程序 ， 在 不 使 用 同步 的 前 提 下 ， 模 拟 内 存 写 操 
作 的 乱 序 执行 。 这 个 任务 之 所 以 有 难度 ， 是 因为 Java 内 存 模型 可 能 
\ 会 优化 过 于 简单 的 例子 ， 故 找到 这 个 优化 场景 比较 困难 。 
2.3 ”第 二 天 : 超越 内 置 锁 
第 一 天 我 们 学 习 了 Java 的 Thread 类 和 Java 对 象 的 内 置 锁 。 在 过 去 的 很 
长 一 段 时 间 内 ， 这 几乎 是 Java 对 并 发 编程 提供 的 所 有 文 持 。Java 5 通过 
引入 java.util.concurrent 包 改 善 了 这 个 状况 。 今 天 我 们 将 学 习 
这 种 增强 的 锁 机 制 。 
内 置 锁 虽然 方便 但 限制 很 多 : 


一 个 线程 因为 等 待 内 置 锁 而 进入 阻塞 之 后 ， 吏 无 法 中 断 该 线程 
Ts 


尝试 获取 内 置 锁 时 ， 无 法 设置 超时 ，; 
获得 内 置 锁 ， 必 须 使 用 synchronized 块 。 


synchronized 


(object) { 


A RY 
« iu IZ7N F WYRY 


AP AA YE AY BR E a EE AA RI RS RE E — TE 
中 。 另 外 ， 声 明 Ssynchronized 的 函数 其 实 只 是 个 “语法 糖 >， 其 等 价 
于 将 函数 体 按 以 下 形式 进行 包装 : 


synchronized 


(this) { 
« KEK» 
} 


与 synchronized 不同 ，ReentrantLock 提供 了 显 式 的 lock 和 
unlock 方法 ， 可 以 突破 上 述 几 个 限制 。 


在 深入 学 习 之 前 ， 先 来 看 一 下 ReentrantLock 是 如 何 替代 
synchronized 工作 的 : 


Lock 


lock = new ReentrantLock 


} Finally 


{ 
lock.unlock(); 


} 


这 段 代 码 中 ， 使 用 try ... finally 是 个 很 好 的 实践 ， 无 论 被 锁 保 
护 的 代码 发 生 了 什么 ， 都 可 以 确保 锁 会 被 释放 。 


现在 我 们 来 看 看 ReentrantLock 是 如 何 突破 限制 的 。 
可 中 断 的 锁 


使 用 内 置 锁 时 ， 由 于 阻塞 的 线程 无 法 被 中 断 ， 程 序 不 可 能 从 死 锁 中 恢 
复 。 我 们 来 看 一 个 小 例子 ， 制 造 一 个 死 锁 并 壬 试 中 断 线 程 。 


ThreadsLocks/Uninterruptible/src/main/java/com/paulbutcher/Uni 
nterruptible.java 


public class 


Uninterruptible { 
public static void 

main(String[] 

args) throws 

InterruptedException { 
final Object 

o1 = new Object 

(); final Object 

02 = new Object 


(); 


Thread ti = new Thread 


O { 


public void 


run() { 
try 


{ 


synchronized 


(01) { 
Thread 


.Sleep(1000); 
synchronized 


(02) {} 


} catch 


(InterruptedException e) { System 
.out.printin("t1 interrupted 
")i } 
} 
}; 
Thread 


t2 = new Thread 


() { 


public void 


run() { 
try 


synchronized 


(02) { 
Thread 


.Sleep(1000); 
synchronized 


(01) {} 
} catch 
(InterruptedException e) { System 
.out.println("t2 interrupted 
"); } 
} 
}; 


ti.start(); t2.start(); 
Thread 


.Sleep(2000) ; 
t1.interrupt(); t2.interrupt(); 
t1.join(); t2.join(); 


这 段 程序 将 永远 死 锁 下 去 一 一 跳出 死 锁 唯一 的 方法 是 终止 JVM 的 运 
IT? 


小 乔 爱 问 : 
真 的 没 办 法 终止 死 锁 的 线程 吗 ? 


你 可 能 认为 肯定 有 某 种 方法 来 终止 一 个 死 锁 线 程 。 壮 憾 的 是 确实 
没有 。 所 有 这 类 方法 都 被 证 明 有 缺陷 而 不 推荐 使 用 @ 


a. http://docs.oracle.com/javase/1.5.0/docs/guide/misc/threadPrimitiveDeprecation.html 


终止 线程 的 最 终 手 段 是 让 run( ) 函数 返回 〈 可 能 是 通过 抛 出 
InterruptedException) 。 不 过 ， 如 果 你 的 线程 由 于 等 竺 内 
置 锁 而 陷入 死 锁 ， 且 不 能 中 断 其 等 待 锁 的 状态 ， 那 么 要 终止 死 锁 
线程 就 只 剩 下 终止 JVM 运 行 这 条 路 了 ° 


不 过 还 是 有 办 法 解决 这 个 限制 的 。 我 们 可 以 用 ReentrantLock 替代 
内 置 锁 ， 使 用 它 的 lJockInterruptibly( ) 方法 : 


ThreadsLocks/Interruptible/src/main/java/com/paulbutcher/Interr 
uptible.java 


final ReentrantLock 


11 = new ReentrantLock 


' final ReentrantLock 
12 = new ReentrantLock 
(); 

Thread 


t1 = new Thread 


O { 


public void 


run() { 
try 
{ 
> 11.lockInterruptibly(); 


Thread 


.Sleep(1000) ， 


> 12.lockInterruptibly(); 
} catch 


(InterruptedException e) { System 


.out.printin("t1 interrupted 


"); 3} 
} 


这 一 次 Thread ， interrupt() 可 以 让 线程 终止 。 代 码 的 确 比 之 前 稍 
微 复 杂 一 点 ， 这 就 算是 为 中 断 死 锁 线 程 付出 的 一 点 代价 吧 。 


超时 

ReentrantLock mee 可 以 为 获取 锁 的 操作 
设置 超时 时 间 。 利 用 这 个 功能 ， 我 们 可 以 通过 另 一 种 方法 来 解决 第 一 
天 的 哲学 家 进餐 问题 。 


下 面 是 修改 后 的 Philosopher X, EENET RKS HE: 


ThreadsLocks/DiningPhilosophersTimeout/src/main/java/com/paul 
butcher/Philosopher.java 


class 


Philosopher extends Thread 


{ 


private ReentrantLock 


leftChopstick, rightChopstick; 
private Random 


random; 
public 
Philosopher (ReentrantLock 


leftChopstick, ReentrantLock 


rightChopstick) { 
this.leftChopstick = leftChopstick; this.rightChopstick = 


rightChopstick; 
random = new Random 


(); 
} 


public void 


run() { 
try 


while 


(true) { 
Thread 


.Sleep(random.nextInt(1000)); // 思考 一 段 时 间 
leftChopstick.lock(); 
try 


{ 
> if 
(rightChopstick.tryLock(1000, TimeUnit 
.MILLISECONDS)) { 
// 获取 右手 边 的 筷子 


try { 
Thread 


.Sleep(random.nextInt(1000)); // 进餐 一 段 时 间 


} finally 
{ rightChopstick.unlock(); } 
} else 
{ ore ` y 
> // 没有 获取 到 右手 边 的 筷子 ， 放 弃 并 继续 思考 
} 
} finally 


{ leftChopstick.unlock(); } 
} catch 


(InterruptedException e) {} 


} 
;| 
这 段 代 码 用 到 了 tryLock() 。 相 比 1ock() ， 它 在 获取 锁 失 败 时 有 超 


时 机 制 。 我 们 虽然 没有 遵循 “ 按 全 局 的 固定 的 顺序 获取 锁 ” 的 准则 ， 但 
这 个 版 本 的 代码 并 不 会 死 锁 (至 少 不 会 无 尽 地 死 锁 下 去 ) 。 


活 锁 


虽然 tryLock( ) 方案 避免 了 无 尽 地 死 锁 ， 但 这 并 不 是 一 个 足够 好 
的 方案 。 首先 ， 这 个 方案 并 不 能 避免 死 锁 一 一 它 只 是 提供 了 从 死 
锁 中 恢复 的 手段 。 其 次 ， 这 个 方案 会 受到 活 锁 现象 的 影响 一 一 如 
果 所 有 死 尔 线程 同时 超时 ， 它 们 极 有 可 能 再 次 陷入 死 鲍 。 虽 然 死 
BUCA DOLE SE 下去， 但 对 资源 的 争 寻 状况 却 没有 得 到 任何 攻 


[=] 


有 一 些 方法 可 以 减 小 活 锁 的 几率 。 比 如 为 每 个 线程 设置 不 同 的 超 
时 时 间 ， 来 减少 所 有 线程 同时 超时 的 几率 。 但 通过 设置 超时 来 处 
理 死 锁 不 能 说 生 一 个 好 的 方案 一 一 以 后 我 们 还 可 以 做 得 更 好 。 


交替 锁 (hand-over-hand locking) 


设想 我 们 要 在 链表 中 插入 一 个 三 点。 一 种 做 法 是 用 锁 保 护 整个 链表 ， 
但 链表 加 锁 时 其 他 使 用 者 无 法 访问 链表 。 而 交替 锁 可 以 只 锁 住 链表 的 
一 部 分 ， 允 许 不 涉及 被 锁 部 分 的 其 他 线程 目 由 访问 链表 ， 如 图 2-2 所 
ZN œ 


本 pi ae 


图 2-2 交替 锁 


插入 痢 的 链表 节点 时 ， 需 要 将 待 插入 位 置 两 边 的 节点 加 锁 。 首 移 锁 住 
链表 的 前 两 个 下 点 。 如 宁 这 两 万 点 之 间 不 是 待 插入 位 置 ， 那 么 束 解 锁 
第 一 个 证 点 ， 并 锁 住 第 三 个 节点。 如果 被 锁 住 的 两 节点 之 间 仍 不 是 答 
插入 位 置 ， 就 解锁 第 二 个 节点 ， 并 锁 住 第 四 个 万 点 。 以 此 类 推 ， 直 到 
找到 待 插 入 位 置 并 插入 新 的 节点 ， 最 后 解锁 两 边 的 节点 。 


这 种 交替 式 的 加 锁 和 解锁 顺序 是 无 法 用 内 置 锁 实现 的 ， 但 使 用 
ReentrantLock 就 可 以 在 需要 的 地 方 调用 lock() 和 unlock()。 
我 们 用 下 面 的 类 来 实现 使 用 交替 锁 的 有 序 链表 。 


ThreadsLocks/LinkedList/src/main/java/com/paulbutcher/Concurr 
entSortedList.java 


Line 1 class 


ConcurrentSortedList { 


- private class 


Node { 
- int 
value; 
5 Node prev; 
- Node next; 
- ReentrantLock 


lock = new ReentrantLock 


(); 
$ Node() {} 
- Node(int 


value, Node prev, Node next) { 
- this.value = value; this.prev = prev; this.next = 
next; 


3 寺 
- private final 


Node head; 
- private final 


Node tail; 


- public 


ConcurrentSortedList() { 
20 head = new 


Node(); tail = new 

Node(); 
- head.next = tail; tail.prev = head; 
=o 中 


- public void 


Insert(Int 


value) { 
25 Node current = head; 
- current.lock.lock(); 
- Node next = current.next; 


- try 
{ 
while 
(true) { 
30 next.lock.lock(); 
- try 
{ 
if 
(next == tail || next.value < value) { 


Node node = new 


Node(value, current, next); 
- next.prev = node; 
35 current.next = node; 
- return 


} 
- } finally 
{ current.lock.unlock(); } 
current = next; 
40 next = current.next; 


} 
} finally 


{ next.lock.unlock(); } 
Di oh 


om 


insert() 方法 保证 链表 是 有 序 的 : 遍历 链表 直到 找到 第 一 个 值 小 于 
新 插入 值 的 节点 位 置 ， 在 这 个 位 置 前 插入 新 节点 。 


第 26 行 锁 住 了 链表 的 头 万 点 ， 第 30 行 锁 住 了 下 一 个 节点 。 搂 下 来 检测 
两 个 斑点 之 间 是 否 是 竺 插入 位 置 。 如 采 不 是 ， 则 在 第 38 行 解锁 当前 节 
扩 并 继续 授 历 。 如 果 找 到 待 插入 位 置 ， 第 33~36 行 构造 新 节点 并 将 其 插 


入 链表 后 返回 。 两 把 锁 的 解锁 操作 在 两 个 finally 块 中 进行 (第 38 行 
和 第 42 行 ) 。 


这 种 方案 不 仅 可 以 让 多 个 线程 并 发 地 进行 链表 插入 操作 ， 还 能 让 其 他 
es 全 地 并 发 。 比 如 计算 链表 市 点 个 数 ， ae al 遍历 链表 


ThreadsLocks/LinkedList/src/main/java/com/paulbutcher/Concurr 
entSortedList.java 


public int 


size() { 
Node current = tail; 
int 


count = 0; 
while 


(current.prev != head) { 
ReentrantLock 


lock = current.lock; 
lock.lock(); 
try 


++count; 
Current = current.prev; 
} finally 


{ lock.unlock(); } 
} 


return 


count; 


In] : 
难道 不 会 违背 “全 局 顺序 ”规则 吗 ? 


ConcurrentSortedList 的 insert() 方法 从 链表 头 开 始 向 链 
表 尾 依次 获取 锁 。size( ) 方法 从 链表 尾 回 链表 头 依 次 获取 锁 。 难 
道 这 样 不 违背 “总 是 按照 一 个 全 局 的 固定 的 顺序 获取 多 把 锁 * 的 规 
则 吗 ? 


SREMEA, ANsize() 方法 从 不 择 有 多 把 包 一 一 其 在 某 一 
时 间 并 不 择 有 一 把 以 上 的 锁 。 


接 下 来 我 们 学 习 ReentrantLock 的 另 一 个 特性 
条 件 变 量 
并 发 编程 经 常 需 要 等 待 某 个 事件 发 生 。 比 如 从 队列 删除 元 素 前 需要 等 
待 队 列 非 空 、 辐 缓存 添加 数据 前 需要 等 待 缓存 有 足够 的 空间 。 条 件 变 
量 就 是 为 这 种 情况 而 设计 的 。 
建议 按照 下 面 的 模式 使 用 条 件 变 量 : 


H, 
条 件 变 量 。 


ReentrantLock 


lock = new ReentrantLock 


(); 
Condition 


condition = lock.newCondition(); 


lock.lock(); 


7 H») 
ition.await(); 
Ce i» 


{ lock.unlock(); } 


一 个 条 件 变量 需要 与 一 把 锁 关 联 ， 线 程 在 开始 等 待 条 件 之 前 必须 获取 
这 把 锁 。 获 取 锁 后 ， 线 程 检 杏 所 等 待 的 条 件 是 人 否 已 经 为 真 。 如 采 条 件 
为 真 ， 线 程 将 解锁 并 继续 执行 。 


如 果 所 等 待 的 条 件 不 为 真 ， 线 程 会 调用 await( ) ， 它 将 原子 地 解锁 并 
阻塞 等 待 该 条 件 。 所 谓 一 个 操作 是 原子 的 ， 指 的 是 从 另 一 个 线程 的 角 
o 该 操作 的 状态 只 能 是 “已 发 生 ? 或 者 “未 发 生 ”， 而 不 会 是 发 生 


当 另 一 个 线程 调用 了 signal() 或 signalA1L1() ， 意 味 着 对 应 的 条 
件 可 能 变 为 真 ，await( ) 将 原子 地 恢复 运行 并 重新 加 锁 。 需 要 注意 的 
是 当 await( ) 函数 返回 时 ， 只 意味 着 等 竺 的 条 件 可 能 为 真 。 这 就 是 为 
什么 要 在 一 个 循环 中 调用 await() 的 原因 一 从 await() 返回 后 ， 
人 必要 的 话 可 能 再 次 调用 await( ) 

j HÆ 9 


我 们 又 有 了 解决 “哲学 家 进餐 问题 "的 新 方法 : 


ThreadsLocks/DiningPhilosophersCondition/src/main/java/com/pa 
ulbutcher/Philosopher.java 


class 


Philosopher extends Thread 
{ 
private boolean 


eating; 
private 


Philosopher left; 
private 


Philosopher right; 
private ReentrantLock 


table; 
private Condition 


condition; 
private Random 


random; 
public 


Philosopher (ReentrantLock 


table) { 
eating = false; 
this.table = table; 
condition = table.newCondition(); 
random = new Random 


(); 
} 
public void 


setLeft(Philosopher left) { this.left = left; } 
public void 


setRight(Philosopher right) { this.right = right; 
public void 


run() { 
try 
while 
(true) { 
think(); 
eat(); 
} catch 


(InterruptedException e) {} 


private void 
think() throws 


InterruptedException { 
table.lock(); 
try 


eating = false; 

left.condition.signal(); 

right.condition.signal(); 
} finally 


{ table.unlock(); } 
Thread 


.Sleep(1000); 


} 
private void 
eat() throws 
InterruptedException { 
table.lock(); 
try 
while 
(left.eating || right.eating) 
condition.await(); 


eating 


= true; 
} finally 


{ table.unlock(); } 
Thread 


.Sleep(1000); 
} 


} 


与 之 前 不 同 ， 现 在 的 方法 只 使 用 一 把 锁 (table) ， 且 没有 
Chopstick 类 。 BL LAPSE MOTEL IH ER PRL TAPAS HAT: 
仅 当 哲学 家 的 左右 邻 座 都 没有 进餐 时 ， 他 才 可 以 进餐 。 换 句 话说 ， 
个 饥饿 的 斩 学 家 十 在 等 得 下 面 的 条 件 : 


!(left.eating || right.eating) 


当 一 个 哲学 家 山 饿 时 ， 他 首先 锁 住 餐 持 ， 这 样 其 他 哲学 家 无 法 改变 状 
态 ， 然 后 查看 左右 邻 座 是 否 正在 进餐 。 如 果 没 有 ， 那 么 该 哲学 家 开始 


进餐 并 解锁 和 餐桌。 否则 其 调用 await() 以 解锁 餐桌。 


当 一 个 哲学 家 进餐 结束 并 开始 思考 时 ， 他 首先 锁 住 餐 桌 并 将 eating ix 
false. agai a 最 后 解锁 餐桌 。 o 
D eo , HAATTE, EIDER, HAT 

以 开始 进 


虽然 这 段 代 码 看 上 去 比 之 前 的 解决 万 案 复杂 得 多 ， 但 换 来 的 是 并 发 度 
的 显著 提升 。 在 前 一 个 解决 方案 中 ， 经 党 出 现 的 状况 是 只 有 一 个 哲学 

家 能 进餐 ， 因 为 其 他 人 都 持 有 一 根 筷子 并 在 等 待 另外 一 根 。 在 这 个 解 
决 方案 中 ， 当 一 个 哲学 家 理论 上 可 以 进餐 (HAIR 都 没有 进餐 ) 
时 ， 他 肯定 可 以 进餐 。 


我 们 已 经 下 面 将 介绍 另 一 个 内 置 锁 的 替代 
方案 


原子 变量 
在 第 一 天 的 学 习 中 ， 我 们 为 多 线程 计数 器 的 jncrement( ) 方法 增加 了 


同步 特性 (参见 2.2 节 的 “第 一 把 锁 * 部 分 ) 。 
java.util.concurrent.atomic 包 提 供 了 更 好 的 方案 : 


ThreadsLocks/CountingBetter/src/main/java/com/paulbutcher/Cou 
nting.java 


public class 


Counting { 
public static void 


main(String[] 
args) throws 
InterruptedException { 
> final AtomicInteger 
counter = new AtomicInteger 
(); 

class 
CountingThread extends Thread 


{ 


public void 


run() { 


for 


(Int 


x = 0; x < 10000; ++x) 
> counter .incrementAndGet(); 


} 
CountingThread t1 = new 


CountingThread(); 
CountingThread t2 = new 


CountingThread(); 


ti.start(); t2.start(); 
t1.join(); t2.join(); 


System 


.out.println(counter.get()); 


} 


AtomicInteger 的 incrementAndGet() 方法 功能 上 等 价 于 
++Count (AtomicInteger 也 提供 了 getAndIncrement 方法 ， 等 
价 于 count++ ) 。 不 过 与 ++count Ale], incrementAndGet() 77 
法 是 原子 操作 。 


与 锁 相 比 ， 使 用 原子 变量 有 诸多 好 处 。 首 移 ， 我 们 不 会 系 了 在 正确 的 
时 候 获取 锁 。 例 如 ， 因 getCcount() 素 了 同步 而 引发 的 Counter NF 
可 见 性 的 问题 将 不 会 发 生 。 其 次 ， 由 于 没有 锁 的 参与 ， 对 原子 变量 的 
操作 不 会 引发 死 锁 。 


最 后 ， 原 子 变量 是 无 锁 〈lock-free) 非 阻塞 (non-blocking) 算法 的 基 
础 ， 这 种 算法 可 以 不 用 锁 和 阻塞 来 达到 同步 的 目的 。 无 锁 的 代码 比 起 
有 锁 的 代码 更 为 复杂 。 和 幸运 的 是 ，java.util,concurrent 包 中 的 
类 都 尽量 使 用 了 无 锁 的 代码 ， 我 们 可 以 在 一 定 程度 上 免 于 亲自 实现 的 
痛苦 。 我 们 将 在 第 三 天 来 学 习 这 些 类 ， 而 现在 先 来 完成 第 二 天 的 最 后 


一 点 内 容 。 
小 乔 爱 问 : 
volatile 变 量 ? 


我 们 可 以 将 Java 变 量 标记 成 volatile 。 这 样 可 以 保证 变量 的 读 写 不 

被 乱 序 执行 。 在 之 前 的 测试 中 (参见 2.2 厄 的 “诡异 的 内 存 ” 部 

分 ) ， 我 们 可 以 将 answerReady 标记 成 volatile， 来 解决 Puzzle 

类 的 问题 。 

volatile 是 一 种 低级 形式 的 同步 。 它 并 不 能 解决 Counter 的 问题 
(参见 2.2 节 的 “第 一 把 锁 ” 部 分 ， 因 为 将 count 标记 成 volatile 并 

不 能 保证 count++ 操作 是 原子 的 。 

随 着 JVM 被 不 断 优 化 ， 其 提供 了 一 些 低 开 销 的 锁 ，volatile 变 量 的 

适用 场景 也 越 来 越 少 。 如 果 你 考虑 使 用 volatile ， 也 许 应 当 在 


java.util.concurrent.atomic 包 中 寻找 更 合适 的 工具 。 


第 二 天 总 结 


我 们 在 第 一 天 的 基础 上 ， 学 习 了 java.util.concurrent.locks 包 
和 java.util.concurrent.atomic 包 提 供 的 更 复杂 更 灵活 的 工 

具 。 学 习 和 理解 这 些 工具 很 重要 ， 但 经 过 第 三 天 的 学 习 后 我 们 就 会 发 
现实 际 上 很 少 会 直接 使 用 锁 。 

第 二 天 我 们 学 到 了 什么 


ReentrantLock 和 java.util.concurrent.atomic 突破 了 使 用 


内 置 锁 的 限制 ， 利 用 新 的 工具 我 们 可 以 做 到 |: 
。 在 线程 获取 锁 时 中 断 它 ; 
。 设置 线程 获取 俩 的 超时 时 间 ; 
。 按 任意 顺序 获取 和 释放 锁 ; 
。 用 条 件 变 量 等 竺 某 个 条 件 变 为 真 ; 
。 使 用 原子 变量 避免 锁 的 使 用 。 
第 二 天 目 习 
查找 


e ReentrantLock 创建 时 可 以 设置 一 个 描述 公平 性 的 变量 。 什 么 
何 时 适合 使 用 公平 的 锁 ? 使 用 非 公 平 的 锁 会 怎 
F? 


。 什 么 是 ReentrantReadwWriteLock? 它 与 ReentrantLock 有 
什么 区 别 ? 适用 于 什么 场景 ? 


。 什 么 是 “虚假 唤醒 ”(spurious wakeup) ? 什么 时 候 会 发 生 虚 假 唤 
He? 为 什么 符合 规范 的 代码 不 用 担心 虚假 唤醒 ? 


。 什 么 是 AtomicIntegerFieldUpdater ? 它 与 
AtomicInteger 有 什么 区 别 ? 适用 于 什么 场景 ? 


实践 


。 在 用 条 件 变量 解决 哲学 家 进餐 问题 时 ， 如 果 将 条 件 变量 所 在 的 循 
环 换 成 if SREP A? 将 看 到 哪些 失败 的 现象 ? 如 果 将 
signal() 换 成 signalAll( ) 会 发 生 什 么 ? 会 引发 什么 问题 ? 


内 置 锁 比 ReentrantLock 限制 更 多 ， 与 之 类 似 ， 内 置 锁 也 文 持 
一 种 限制 较 多 的 条 件 变 量 。 用 内 置 锁 、wait()、notify() 或 
notifyAll() 重新 解决 哲学 家 进餐 问题 。 为 什么 内 置 锁 比 
ReentrantLock 效率 更 低 ? 


重 写 ConcurrentSortedList ， 用 一 把 锁 代 替 交 替 锁 。 测 试 两 
个 方案 的 性 能 。 交 蔡 锁 是 否 有 更 好 的 性 能 ?什么 情况 适用 于 交替 
Bl? 什么 情况 不 适用 ? 


24 第 三 天 : 站 在 巨人 的 肩膀 上 


java.util.concurrent 包 不 仅 提 供 了 第 二 天 介绍 的 比 内 置 锁 更 好 

的 锁 ， 还 提供 了 一 些 通用 、 高 效 、bug 少 的 并 发 数据 结构 和 工具 。 在 实 

， 较 之 目 己 生成 解决 方案 ， 我 们 应 更 多 地 使 用 这 些 久 经 考验 
人 


创建 线程 之 终极 版 


第 一 天 我 们 学 习 了 如 何 创建 线程 ， 但 在 实际 应 用 中 很 少 会 直接 创建 线 
程 。 举 个 例子 ， 下 面 古 一 个 非 第 简单 的 服务 器 ， 回 显 接收 到 的 数据 : 


ThreadsLocks/EchoServer/src/main/java/com/paulbutcher/EchoSe 
rver.java 


public class 


EchoServer { 
public static void 
main(String[] 
args) throws 
IOException { 
class 


ConnectionHandler implements Runnable 


{ 


InputStream 
in; OutputStream 


out; 
ConnectionHandler (Socket 


socket) throws 
IOException { 


in = socket.getInputStream(); 
out = socket.getOutputStream(); 


} 
public void 
run() { 
try 
{ 
int 
n; 
byte[] 


buffer = new byte 


[1024]; 
while 


((n = in.read(buffer)) != -1) { 
out.write(buffer, 0, n); 
out.flush(); 

} catch 
(IOException e) {} 
} 

} 
ServerSocket 


server = new ServerSocket 


(4567); 
while 


(true) { 
> Socket 


socket = server.accept(); 
> Thread 


handler = new Thread 


(new 


ConnectionHandler (socket) ); 
> handler.start(); 


标记 出 来 的 代码 行 用 于 接受 一 个 连接 请 求 并 创建 一 个 处 理 线 程 。 这 样 
的 设计 虽然 能 正常 工作 ， 但 存在 两 个 隐患 : 第 一 ， 创 建 线程 的 代价 虽 
然 很 低 ， 但 也 没 低 到 能 直接 忽略 的 程度 ， 而 每 个 连接 都 花费 了 这 个 代 
价 ;， 第 二 ， 如 果 为 每 个 连接 都 创建 一 个 线程 ， 当 请 求 连 接 的 速度 高 于 
处 理 连 接 的 速度 时 ， 系 统 的 线程 数 也 会 随 之 快速 增长 ， 服 务 器 将 停止 
a 
oy] ae o 


我 们 可 以 用 线程 池 来 避免 这 些 问题 : 


ThreadsLocks/EchoServerBetter/src/main/java/com/paulbutcher/E 
choServer.java 
int 

threadPoolSize = Runtime 


.getRuntime().availableProcessors() * 2; 
ExecutorService 


executor = Executors 


.newFixedThreadPool(threadPoolSize) ; 
while 


(true) { 
Socket 


socket = server.accept(); 
executor.execute(new ConnectionHandler (socket) ); 


这 上 段 代码 创建 了 一 个 线程 池 ， 线 程 池 的 大 小 设 为 可 用 处 理 器 数 的 2 倍 。 
如 果 同 一 时 间 有 超过 线程 池 大 小 的 execute( ) 请 求 存在 ， 超 出 的 部 分 
将 进行 排队 直到 某 线程 被 释放 。 现 在 我 们 不 必 再 为 每 个 连接 都 消耗 资 
源 来 创建 线程 ， 而 且 服 务 器 在 面临 高 负载 时 也 能 继续 运转 (不 能 保证 
服务 器 对 所 有 连接 都 及 时 响应 ， 但 至 少 可 以 响应 其 中 一 部 分 ) 。 


4 新 的 连接 会 复 用 连接 池 中 的 已 有 线程 ， 而 不 必 创 建新 线程 。 一 一 译 者 注 


写 入 时 复制 


第 一 天 我 们 曾 学 习 过 在 并 发 程序 中 如 何 安全 地 调用 监听 器 ， 当 时 在 
updateProgress() 中 创建 了 一 个 保护 性 复制 (参见 2.2 市 中 “来 自 外 
星 方法 的 危害 ”部 分 ) 。Java 标 准 库 提 供 了 更 优雅 的 现成 方案 一 
CopyOnwriteArrayList : 


ThreadsLocks/HttpDownloadBetter/src/main/java/com/paulbutche 
r/Downloader.java 


private CopyOnwriteArrayList 
<ProgressListener> listeners; 


public void 


addListener(ProgressListener listener) { 
listeners.add(listener); 


public void 


removeListener(ProgressListener listener) { 
listeners.remove(listener); 


private void 
updateProgress(int 


n) { 


for 


(ProgressListener listener: listeners) 


} 


listener.onProgress(n); 


44 ASL, CopyOnwriteArrayList 使 用 了 保护 性 复制 的 策略 。 它 
并 不 是 在 所 有 历 列 表 前 进行 复制 ， 而 是 在 列表 被 修改 时 进行 ， 已 经 投入 
使 用 的 迭代 器 会 使 用 当时 的 旧 副 本 。 这 种 方式 对 许多 用 例 并 不 适用 ， 
但 非常 适用 于 我 们 当下 的 场景 。 


首先 ， 使 用 了 copyonwriteArrayList 的 代码 会 变 得 非常 简洁 。 事 
实 上 除了 定义 listeners 的 部 分 稍 有 不 同 ， 其 他 代码 与 最 初 的 非 线程 
安全 的 版 本 没有 什么 区 别 。 其 次 ， 代 码 将 变 得 更 高 效 ， 因 为 我 们 不 必 

在 每 次 调用 updateProgress( ) 时 都 创建 副本 ， 而 只 在 listeners 
被 更 新 时 创建 即 可 (更 新 listeners 的 概率 相对 较 低 ) 


小 乔 爱问 : 

线程 池 应 该 有 多 大 ? 

影响 线程 池 最 优 大 小 的 因素 有 很 多 ， 例 如 硬件 的 性 能 、 线 程 任务 
征 CPU 密 集 型 还 是 IO 密集 型 、 征 人 否 有 其 他 任务 在 同时 运行 。 还 有 
很 多 其 他 原因 也 会 产生 影响 。 


话 虽 如 此 ， 但 也 存在 经 验 法 则 : 对 于 CPU 密集 型 的 任务 ， 线 程 池 
大 小 应 接近 于 可 用 核 数 ， 对 于 IO 密集 型 的 任务 ， 线 程 池 可 以 设置 


得 更 大 些 。 

al 最 佳 的 方法 是 建立 一 个 真实 环境 下 的 压力 测试 来 衡量 性 
He 。 
一 个 完整 的 程序 


到 目前 为 止 ， 我 们 单独 学 习 了 一 些 工 具 。 剩 下 的 时 间 我 们 将 解决 一 个 
实际 的 小 问题 : Wikipedia 上 出 现 频 率 最 高 的 词 是 什么 ? 


只 需要 下 载 XML dump 文 件 ” ， 然 后 写 一 个 程 
序 解 析 它们 并 计算 词 步 AUBLAT A T° Bdump ift 8.40 GIB, 
起 来 需要 一 些 时 间 ， 我 们 是 否 可 以 借助 并 行 来 加 速 运行 ? 


5 http://dumps.wikimedia.org/enwiki/ 


先 从 基本 场景 开始 


一 个 简单 的 串 行 程序 统计 前 100 000 页 (page) 
的 词 频 需 要 花费 多 人 久 ? 


ThreadsLocks/WordCount/src/main/java/com/paulbutcher/WordC 
ount.java 


public class 


WordCount { 
private static final HashMap 


<String 
, Integer 


> counts = 
new HashMap 


<String 
, Integer 
>(); 
public static void 


main(String[] 


args) throws 


Exception { 
Iterable 


<Page> pages = new 
Pages(100000, "“enwiki. xml 


"); 


for 


(Page page: pages) { 
Iterable 


<String 
> words = new 


Words(page.getText()); 
for 


(String 


word: words) 
countWord(word); 
} 


} 


private static void 
countword(String 


word) { 
Integer 


currentCount = counts.get(word); 


if 
(currentCount == null) 
counts.put(word, 1); 
else 


counts.put(word, currentCount + 1); 


在 我 的 MacBook Pro 上 ， 这 需要 花费 105 秒 。 


那 应 该 从 何 处 下 手 研 发 并 行 的 版 本 呢 ? 主 循环 的 每 一 次 循环 都 完成 了 
两 个 任务 首先 解析 XML 并 构造 一 个 Page ， 然 后 “消费 ”这 个 page， 
对 page 中 的 内 容 统计 词 频 。 

这 类 问题 可 以 归结 为 一 种 经 典 模式 一 一 生产 者 -消费 者 (producer- 
consumer) 模式 。 相 比 只 用 一 个 线程 自 产 自 销 ， 我 们 可 以 创建 两 个 线 
程 : 一 个 生产 者 和 一 个 消费 者 。 


首先 ， 定 义 一 个 生产 者 Parser : 


ThreadsLocks/WordCountProducerConsumer/src/main/java/com/ 
paulbutcher/Parser.java 


class 


Parser implements Runnable 


{ 


private BlockingQueue 
<Page> queue; 

public Parser 
(BlockingQueue 


<Page> queue) { 
this.queue = queue; 


} 
public void 
run() { 
try 
{ 
> Iterable 


<Page> pages = new 


Pages(100000, "“enwiki. xml 


"); 
> for 


(Page page: pages) 


> queue. put(page); 
} catch 


(Exception e) { e.printStackTrace(); } 
} 


} 


run() 的 方法 体 是 之 前 串 行 版 本 的 外 层 循环 ， 但 对 所 产生 的 page 不 直 
接 统计 词 频 ， 而 是 将 该 page 加 入 到 队列 末尾 。 


然后 ， 定 义 一 个 消费 者 : 


ThreadsLocks/WordCountProducerConsumer/src/main/java/com/ 
paulbutcher/Counter.java 


class 


Counter implements Runnable 


{ 


private BlockingQueue 


<Page> queue; 
private Map 


<String, Integer 


> counts; 
public 


Counter (BlockingQueue 


<Page> queue, 
Map 


<String, Integer 
> counts) { 
this.queue = queue; 


this.counts = counts; 


} 


public void 


run() { 
try 


while 


(true) { 
> Page page = queue.take(); 
if 
(page.isPoisonPill()) 
break 
> Iterable 


<String 
> words = new 


Words(page.getText()); 


> for 
(String 
word: words) 
> countWord(word); 
} catch 


(Exception e) { e.printStackTrace(); } 
} 


} 
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最 后 ， 创 建 两 个 线程 : 


ThreadsLocks/WordCountProducerConsumer/src/main/java/com/ 
paulbutcher/WordCount.java 


ArrayBlockingQueue 


<Page> queue = new ArrayBlockingQueue 


<Page>(100); 
HashMap 


<String 


, Integer 
> counts = new HashMap 


<String, Integer 


counter = new Thread 
(new 


Counter(queue, counts)); 
Thread 


parser = new Thread 
(new 

Parser 

(queue) ); 
counter.start(); 
parser.start(); 


parser.join(); 
queue. put (new 


PoisonPill()); 
counter.join(); 


java.util.concurrent 包 中 的 ArrayBlockingQueue 是 一 个 并 
发 队列 ， 非 常 适合 实现 生产 者 -消费 者 模式 。 其 提供 了 高 效 的 并 发 方法 
put() 和 take() ， 这 些 方法 会 在 必要 时 阻塞 : 当 对 一 个 空 队列 调用 
take() 时 ， 程 序 会 阻塞 直到 队列 变 为 非 空 ， 当 对 一 个 满 队 列 调用 
put() 时 ， 程 序 会 阻塞 直到 队列 有 足够 空间 。 


小 乔 爱 问 : 
为 什么 用 阻塞 队列 ? 


java.util.concurrent 包 不 仅 提 供 了 阻塞 队列 ， 还 提供 了 一 
种 容量 无 限 、 操 作 不 需 等 待 、 非 阻塞 的 队列 


ConcurrentLinkedQueue 。 这 些 特性 听 上 去 非常 诱 人 ， 那 为 什 
么 在 这 个 场景 下 它 不 是 一 个 好 的 解决 方案 呢 ? 


关键 在 于 生产 者 和 消费 者 可 能 不 会 (几乎 肯定 不 会 ) 保持 相同 的 
速度 。 比 如 ， 当 生产 者 的 速度 快 于 消费 者 的 速度 时 ， 队 列 会 越 来 
越 大 。Wikipedia 的 dump 差 不 多 有 40 GiB， 很 容易 就 让 队列 大 小 超 
过 内 存 容量 。 


相 比 之 下 ， 阻 塞 队 列 只 允许 生产 者 的 速度 在 一 定 程度 上 超过 消费 
者 的 速度 ， 但 不 会 超过 很 多 。 


另 一 个 有 趣 的 话题 是 消费 者 如 何 知 道 何 时 应 该 退出 : 


ThreadsLocks/WordCountProducerConsumer/src/main/java/com/ 
paulbutcher/Counter.java 


if 


(page.isPoisonPill()) 


break 


IL (poison pill) 是 一 个 特殊 的 对 象 ， 告 诉 消费 者 “数据 已 经 取 完 
这 你 可 以 退出 了 ”。 这 非常 类 似 于 C/C++ 中 用 null 字 符 作为 字符 串 的 结 
ES (0) 


用 生产 者 -消费 者 模式 进行 优化 后 ， 程 序 运行 提速 了 一 一 从 105 秒 提升 到 
了 95 秒 。 

而 我 们 可 以 做 得 更 好 。 生 产 者 -消费 者 模式 的 优点 不 仅 在 于 可 以 并 行 地 
生产 和 消费 ， 还 可 以 存在 多 个 生产 者 和 /或 多 个 消费 者 。 

那么 我 们 应 该 重点 加 速生 产 者 的 速度 还 是 消费 者 的 速度 ? 哪 段 代码 占 
用 了 大 量 的 运行 时 间 ? 如 果 临 时 改动 一 下 代码 ， 只 运行 生产 者 的 部 

分 ， 会 发 现 分 析 前 100 000 页 花费 了 近 10 秒 。 


仔细 想 一 下 就 可 以 解释 这 个 现象 。 最初 的 串 行 版 本 花费 了 105 秒 ， 而 生 
产 着 -消费 者 版 本 化 费 了 95 秒 。 显 然 解 析 文 件 论 费 了 10 秒 ， 而 统计 词 频 


化 费 了 95 秒 。 所 以 当 解 析 和 统计 并 行 时 ， 整 体 运行 时 间 会 减少 到 两 着 
中 较 长 的 时 间 一 一 95 秒 。 
要 进一步 优化 ， 就 要 对 统计 过 程 进行 并 行 化 ， 建 立 多 个 消费 者 。 图 2-3 
示意 了 我 们 要 做 的 事情 。 


计数 结果 


Aardvark 一 3 
Abacus 一 5 
Acrobat 一 12 

Advert 一 0 


Eo 


图 2-3 建立 多 个 消费 者 ， 对 统计 过 程 进行 并 行 化 

如 有 果 多 个 线程 要 同时 统计 词 频 ， 就 需要 一 种 方法 来 同步 对 counts WR 

的 访问 。 

首先， 我 们 想到 由 Collections 包 的 synchronizedMap( ) 提供 的 
同步 的 map 。 遗 憾 的 是 这 类 同步 的 集合 并 不 提供 原子 的 读 - 改 - 写 的 方 

ae 它们 。 如 果 使 用 HashMap， 就 必须 自己 实现 对 访问 
同步。 


下 面 是 修改 后 的 countword () : 


ThreadsLocks/WordCountSynchronizedHashMap/src/main/java/co 
m/paulbutcher/Counter.java 


private void 


countWord(String 


word) { 
>  lock.lock(); 


try 


Integer 


currentCount = counts.get(word); 


if 
(currentCount == null) 
counts.put(word, 1); 
else 


counts.put(word, currentCount + 1); 
> } finally 


{ lock.unlock(); } 
} 


然后 ， 修 改 代 码 来 运行 多 个 消费 着 ; 


ThreadsLocks/WordCountSynchronizedHashMap/src/main/java/co 
m/paulbutcher/WordCount.java 


ArrayBlockingQueue 


<Page> queue = new ArrayBlockingQueue 


<Page> (100); 
HashMap 


<String, Integer 
> counts = new HashMap 
<String, Integer 


>(); 


ExecutorService 
executor = Executors 


.newCachedThreadPool(); 
for 


(int 


i = 0; i < NUM_COUNTERS; ++i) 
executor .execute (new 


Counter(queue, counts)); 
Thread 


parser = new Thread 
(new Parser 


(queue) ); 
parser.start(); 


parser.join(); 
for 


(int 


i = 0; i < NUM_COUNTERS; ++i) 
queue. put (new 


PoisonPill()); 
executor .shutdown(); 
executor.awaitTermination(10L, TimeUnit 


. MINUTES); 


与 之 前 的 主 代码 相 比 ， 这 段 代 码 的 变化 是 使 用 了 线程 池 ， 方 便 管理 多 
ee ee eee oe 
退出 。 

切 看 起 来 都 很 完美 ， 但 我 们 的 梦想 很 快 就 破灭 了 。 分 别 测 量 一 下 使 
用 一 个 消费 者 和 两 个 消费 者 所 花费 的 时 间 (加 速 比 s 是 相对 于 串 行 版 
Æ) ， 如 表 2-1 所 示 。 

6 加 速 比 是 指 串 行 算法 执行 时 间 和 并 行 算法 执行 时 间 的 比值 。 “ 译 者 注 


表 2-1 使 用 一 个 消费 者 和 两 个 消费 者 所 花费 时 间 的 比较 


1.04 


为 什么 增加 一 个 消费 者 反而 更 慢 ? 而 且慢 了 原来 的 一 半 之 多 ? 


答案 是 因为 过 度 竞 争 一 一 过 多 的 线程 尝试 同时 使 用 一 个 共享 资源 。 在 
我 们 的 程序 中 ， 消 费 者 花费 大 量 时 间 等 待 被 其 他 消费 者 锁 住 的 counts 
,它们 的 等 待 时 间 比 实际 运算 时 间 还 要 长 ， 最 终 导致 惨烈 的 性 能 

降 o 


好 在 我 们 不 会 就 此 退缩 。java,util,concurrent 包 的 
ConcurrentHashMap 正 是 我 们 所 需要 的 。 它 不 仅 提 供 了 原子 的 读 - 
改 - 写 方 法 ， 还 使 用 了 更 高 级 的 并 发 访问 〈 被 称 为 锁 分 段 (lock 
striping) 技术 ) 7 ° 


7 ConcurrentHashMap 内 部 使 用 了 锁 分 段 技术 ， 可 以 提升 其 并 发 性 能 。 


译 者 注 


下 面 是 使 用 了 ConcurrentHashMap 的 countword( ) 代码 。 


ThreadsLocks/WordCountConcurrentHashMap/src/main/java/com 
/paulbutcher/Counter.java 


private void 


countWord(String 


word) { 
while 


(true) { 
Integer 


currentCount = counts.get(word); 


if 
(currentCount == null) { 
if 
(counts.putIfAbsent(word, 1) == null) 
break 
} else if 


(counts.replace(word, currentCount, currentCount + 1)) { 
break 


} 
} 
} 


我 们 需要 花 点 时 间 来 理解 这 个 机 制 。 此 处 使 用 了 putIfAbsent( ) 和 
replace() 来 取代 原来 的 put( ) 方法 。putIfAbsent() 的 相关 文 
档 如 下 。 
如 果 指 定 键 没 有 与 某 值 关 联 ， 则 将 指定 键 与 指定 值 进行 关联 。 其 
与 以 下 代码 的 区 别 是 具有 原子 性 : 


if 


(!map.containsKey(key) ) 
return 


map.put(key, value); 


else 


return 


map.get(key); 
replace() 的 相关 文档 如 下 。 


仅 当 指定 键 与 指定 旧 值 关联 时 ， 将 指定 键 与 指定 痢 值 进行 关联 。 
其 与 以 下 代码 的 区 别 和 具有 原子 性 : 


if 


(map.containsKey(key) && map.get(key).equals(oldValue)) { 
map.put(key, newValue); 
return 


true; 
} else return 


false; 


当 使 用 这 些 函 数 时 ， 和 需要 检查 其 返回 值 来 判断 是 否 操 作成 功 。 如 果 没 
有 成 功 ， 则 需要 重 试 。 


再 次 测量 运行 时 间 ， 这 次 残 不 那么 悲剧 了 ， 如 表 2-2 所 示 。 
表 2-2 使 用 Concurrent HashMap 所 人 花费 时 间 的 比较 


时 间 ( 秒 ) 


搞定 ! 这 次 可 以 通过 增加 消费 者 的 数量 来 提升 计算 速度 。 不 过 增加 到 4 
个 以 上 的 消费 者 时 ， 计 算 速 度 开始 下 降 。 


虽然 63 秒 的 成 绩 比 串 行 版 本 的 105 秒 要 好 得 多 ， 但 也 没 能 达到 2 倍 的 提 
速 。 我 的 MacBook 有 四 个 核 一 一 理论 上 应 该 有 近 4 倍 的 提速 。 


我 们 还 注意 到 消费 者 对 counts 有 一 些 不 必要 的 竞争 。 与 其 所 有 消费 者 
都 共享 同一 个 counts ， 不 如 每 个 消费 者 各 目 维 护 一 个 计数 map， 再 对 
这 些 计 数 map 进 行 合并 : 


ThreadsLocks/WordCountBatchConcurrentHashMap/src/main/jav 
a/com/paulbutcher/Counter.java 


private void 


mergeCounts() { 
for 


(Map 
.Entry<String, Integer 


> e: localCounts.entrySet()) { 
String 


word = e.getKey(); 
Integer 


count = e.getValue(); 
while 


(true) { 
Integer 


currentCount = counts.get(word); 


if 
(currentCount == null) { 
if 
(counts.putIfAbsent(word, count) == null) 
break 
} else if 


(counts.replace(word, currentCount, currentCount + count)) { 
break 


现在 的 程序 性 能 不 仅 随 着 消费 者 的 增加 而 快速 提升 ， 而 且 超过 4 个 消费 
者 后 性 能 仍 会 继续 提升 。 这 大概 是 因为 我 的 MacBook 支 持 “ 超 
虽然 只 有 4 个 物理 核 ， 但 是 availableProcessors() 会 返 返回 8 。 


图 2-4 展 示 了 三 个 不 同 版 本 程序 的 性 能 


多 个 ConcurrentHashMap 


N 


ConcurrentHashMap 


加 速 比 


同步 的 HashMap 


1 2 3 4 5 6 7 
消费 者 数量 


图 2-4 消费 者 个 数 对 词 频 统计 程序 性 能 的 影响 


并 行程 序 的 性 能 曲线 大 多 与 此 类 似 。 起 初 性 能 快速 线性 增长 ， 之 后 增 
长 趋势 放 缓 ， 最 终 性 能 达到 极 值 ， 线 程 数 再 增加 性 能 则 会 下 降 。 


现在 回顾 一 下 我 们 已 经 完成 了 什么 : 建立 了 一 个 相对 复杂 的 生产 者 - 消 
费 者 程序 ， 多 个 消费 者 通过 一 个 并 发 队列 和 一 个 并 发 map 进 行 协作 ， 程 
序 中 没有 显 式 地 使 用 锁 ， 而 是 使 用 了 标准 库 提供 的 并 发 工具 。 
第 三 天 总 结 

我 们 已 经 完成 了 线程 与 锁 模 型 最 后 一 天 的 学 习 。 

第 三 天 我 们 学 到 了 什么 


java.util.concurrent 包 提 供 的 工具 不 仅 让 并 发 编程 更 容易 ， 而 
且 在 以 下 方面 让 程序 更 安全 高 效 : 


。 使 用 线程 池 ， 而 不 直接 创建 线程 ; 


。 使 用 CopyOnWriteArrayList 让 监听 器 相关 的 代码 更 简单 高 
效 ; 


。 使 用 ArrayBlockingQueue 计生 产 者 和 消费 者 之 间 高 效 协作 ; 
。ConcurrentHashMap 提供 了 更 好 的 并 发 访问 。 

第 三 天 上 自习 

查找 


。 阅读 ForkJoinPool 的 文档 
别 ? 分 别 适 用 于 什么 场景 ? 


。 什么 是 work-stealing? 它 适 用 于 什么 场景 ? 如 何 用 
java.util.concurrent 包 提 供 的 工具 实现 work-stealing? 


fork/join 框 架 与 线程 池 有 什么 区 


e CountDownLatch 和 CyclicBarrier 有 什么 区 别 ? 分 别 适用 于 
什么 场景 ? 


。 什 么 是 阿 姆 达尔 定律 (Amdahl's law) ? 如 何 计 算出 词 频 统计 程序 
的 最 大 理论 加 速 比 ? 
实践 


。 修改 生产 者 -消费 者 版 本 的 代码 ， 用 “数据 结束 ”标识 取代 毒 丸 ， 在 
生产 者 与 消费 者 有 速度 差异 时 要 确保 程序 运行 正常 。 队 列 被 置 < 数 
据 结 束 ” 标 识 时 ， 如 果 消 费 者 尝试 从 队列 中 移 除 元 素 会 发 生 什么 ? 
为 什么 毒 丸 方法 会 被 广泛 采用 ? 

。 在 不 同 的 电脑 上 运行 不 同 版 本 的 词 频 统计 程序 。 不 同 电 脑 上 的 性 
能 曲线 有 什么 区 别 ? 如 果 在 一 台 32 核 电脑 上 运行 ， 是 否 会 得 到 近 
32 倍 的 提速 ? 


2.5 复习 


线程 与 锁 模 型 可 能 是 这 本 书 介 绍 的 最 具有 争议 的 模型 。 很 多 程序 员 觉 
得 它 难以 敬 驭 而 感到 悍 怕 ， 不 顾 一 切 地 避免 多 线程 编程 。 而 男 一 些 程 
Do ENON E E E pene 
无 他 样 。 


让 我 们 来 看 一 下 这 个 模型 的 优点 和 缺点 。 
优 尽 


线程 与 锁 模 型 的 最 大 优点 是 其 适用 面 很 广 。 它 是 本 书 介 绍 的 其 他 许多 
技术 的 基础 ， 适 用 于 解决 很 多 类 型 的 问题 。 同 时 ， 线 程 与 锁 模 型 更 接 
近 于 “本 质 ” 一 一 近似 于 对 硬件 工作 方式 的 形式 化 一 一 正确 使 用 时 ， 其 
效率 很 高 。 这 也 意味 着 它 能 够 解决 从 小 到 大 不 同 粒度 的 问题 。 


另外 ， 这 个 模型 可 以 被 轻松 地 集成 到 大 多 数 编程 语言 中 。 语 言 设 计 者 
们 可 以 轻易 让 一 门 指令 式 语言 或 面向 对 象 语言 文 持 线 程 与 锁 模 型 。 


BA 


线程 与 锁 模 型 没有 为 并 行 提 供 直接 的 文 持 (之 前 我 们 提 到 过 并 发 与 并 
TH KAMA, BWI) 。 在 之 前 词 频 统计 的 例子 中 ， 我 们 确实 
用 这 个 模型 将 一 个 串 行 算法 并 行 地 运行 ， 但 前 提 是 该 程序 被 改造 成 了 
并 发 形式 ， 同 时 引入 了 不 确定 性 的 隐患 。 


除了 一 些 特例 ， 比 如 实验 性 的 研究 分 布 式 共 享 内 存 的 系统 ， 线 程 与 锁 
模型 仅 支 持 共 享 内 存 模 型 。 如 采 要 支持 分 布 式 内 存 模 型 (无 论 是 地 理 
分 布 型 或 者 容错 型 ) ， 就 需要 寻求 其 他 技术 的 帮助 。 这 也 意味 着 线程 
与 锁 模 型 不 适用 于 单个 系统 无 力 解决 的 问题 。 


使 用 这 个 模型 最 大 的 缺点 在 于 无 助 。 语 言 设计 者 很 容易 将 其 集成 到 某 
一 门 语言 中 ， 但 对 于 我 们 这 些 可 怜 的 程序 员 ， 编 程 语言 层面 并 没有 提 
供 足 够 的 帮助 。 


不 易 察 觉 的 错误 
我 认为 应 用 多 线程 的 难点 不 在 于 难以 编程 ， 而 在 于 难以 测试 。 在 多 线 


和 
DL o 


以 内 存 模型 为 例 。 如 2.2 节 的 “内 存 可 见 性 ”部 分 所 述 ， 两 个 线程 在 没有 
同步 的 情况 下 访问 同一 片 内 存 ， 琳 怪 的 事情 整 会 接 中 而 至 。 但 我 们 起 
么 知道 自己 的 程序 是 不 是 正确 的 ? 是 否 能 写 一 个 测试 来 证 明 访问 内 存 
时 相应 的 代码 都 有 同步 保护 ? 


可 异 我 们 做 不 到 。 确 实 可 以 写 一 段 代码 来 进行 压力 测试 ， 但 这 些 测试 
成 功 并 不 意味 着 被 测 代 码 是 正确 的 。 例 如 ， 在 解决 哲学 家 进餐 问题 
时 ， 我 们 曾 讨 论 过 产生 死 锁 的 代码 ， 而 这 段 代码 曾经 正常 运行 了 一 周 
多 后 才 出 现 死 锁 。 


测试 中 的 一 个 大 问题 是 多 线程 的 bug 很 难 重 现 一 一 我 不 止 一 次 在 姿 晨 被 
叫 醒 ， 因 为 服务 郁 在 正 间 运行 儿 个 月 后 突然 出 了 问题 。 如 有 条 一 个 问题 
每 十 分 钟 束 会 发 生 一 次 ， 我 们 很 快 惑 能 定位 该 问题 ， 但 如 果 要 正音 运 
行 儿 个 月 才能 重 现 问题 ， 这 吏 很 难 进 行 调试 。 


更 糟糕 的 是 ， 我 们 很 有 可 能 写 出 一 个 包含 多 线程 bug 的 程序 ， 但 无 论坛 
样 彻底 地 长 期 地 进行 测试 ， 该 程序 从 不 会 被 测 出 错误 来 。 假 如 用 一 种 
可 能 被 乱 序 执行 的 方式 访问 内 存 ， 并 不 意味 着 乱 序 执行 真 的 会 发 生 。 
这 样 ， 我 们 就 完全 不 知道 程序 有 bug， 直 到 升级 JVM 或 者 使 用 不 同 的 硬 
件 时 ， 才 会 发 生 一 些 诡异 的 事情 。 


可 维护 性 


上 述 问 题 在 编写 代码 时 已 经 让 人 很 头疼 了 ， 更 过 分 的 是 代码 不 可 能 不 
变更 。 我 们 要 全 程 保证 所 有 对 象 的 同步 都 是 正确 的 、 必 须 按照 顺序 来 
获取 多 把 锁 、 持 有 钢 时 不 调用 外 星 方法 。 还 要 保证 12 个 月 之 后 换 了 太 
外 10 个 程序 员 仍然 按照 这 个 规则 维护 代码 。 过 去 十 几 年 ， 目 动 测试 让 
我 们 信心 十 足 地 进行 重 构 ， 但 如 条 不 能 对 多 线程 问题 进行 可 徘 的 测 

试 ， 束 无 法 对 多 线程 代码 进行 可 靠 的 重 构 。 


最 终 我 们 仅 有 的 方法 是 齐 慎 地 思考 多 线程 代码 。 除 了 谍 异 地 思考 ， 整 
征 更 谨慎 地 思考 。 当 然 ， 这 种 方法 并 不 容易 ， 而 且 无 法 量化 。 


收拾 残局 
我 认为 诊断 多 线程 问题 的 感觉 ， 非 常 类 似 于 一 级 方程 式 赛车 的 工 


程 师 诊 断 引 擎 故障 : 引擎 在 正常 运 行 儿 个 小 时 后 ， 突 然 在 没有 任 
人 


当 赛 车 被 拖 回 维修 | 后， 可怜 的 工程 师 要 面 对 一 堆 残 通 找 出 故障 
的 原因 。 故 障 原 因 可 能 是 很 小 的 一 一 一 个 坏 的 谢 和 对 轴 厌 或 痢疾 
站 ， 但 应 该 如 何 从 一 搬 寓 乱 中 找 出 原因 呢 ? 


经 常 使 用 的 方法 是 尽 可 能 地 完善 对 引擎 数据 的 记录 ， 并 让 赛车 手 
借用 新 的 引擎 。 硕 望 下 次 发 生 故 障 时 数据 能 提供 一 些 有 用 的 信 


其 他 语言 


如 果 你 想 深 入 研究 JVM 的 线程 与 锁 模 型 ， 由 
java.util.concurrent 包 的 作者 撰写 的 Java Concurrency in 
Practice [Goe06] 是 个 不 错 的 起 点 。 不 同 语言 之 间 ， 多 线程 编程 的 细 市 
可 能 有 所 不 同 ， 但 本 昔 我 们 介绍 的 原理 普遍 适用 ， 包 括 下 面 这 些 规 
则 : 访问 共享 变量 时 需要 同步 、 按 照 全 局 的 固定 的 顺序 来 获得 多 把 
锁 、 持 有 锁 时 避免 调用 外 星 方法 。 


值得 一 提 的 是 ， 虽 然 我 们 仅 讨 论 了 Java 的 内 存 模型 ， 但 是 会 对 内 存 访问 
进行 乱 序 执行 的 却 不 止 Java。 大 多 数 语 言 没 有 对 内 人 存 模型 做 出 完善 的 定 
义 ， 没 有 明确 地 说 明 乱 序 执行 何 时 发 生 以 及 如 何 发 生 。 在 这 方面 Java 是 
先驱 者 ， 是 第 一 个 完整 定义 内 存 模型 的 主流 语言 。C 和 C++ 是 在 C 11 和 
C++ 11 的 标准 中 才 补 充 了 内 存 模型 。 


结语 


伴随 着 种 种 挑战 ， 在 可 预见 的 将 来 多 线程 编程 将 一 直 伴随 着 我 们 。 我 
们 也 会 在 之 后 的 章节 中 介绍 其 他 一 些 有 用 的 相关 知识 。 


下 一 章 我 们 将 学 习 函 数 式 编程 ， 它 不 使 用 可 变 状态 ， 从 而 避免 了 线程 
与 锁 模 型 的 很 多 缺陷 。 即 使 你 不 打算 写 钞 数 式 的 代码 ， 理 解 久 数 式 编 
es 我 们 以 后 学 习 的 很 多 并 发 模型 也 应 用 了 
这 些 原理 o 


第 3 章 ”图 数 式 编程 


RACs Hee (Functional Programming) 怠 像 一 辆 高 端 、 痢 潮 的 氨 燃 料 
汽车 ， 虽 然 还 未 被 广泛 使 用 ， 但 二 十 年 后 我 们 的 生活 将 与 它 密 不 可 
N 
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函数 式 编程 与 命令 式 编程 (Imperative Programming) 不 同 。 命 令 式 编 
程 的 代码 由 一 系列 改变 全 局 状态 的 语句 构成 ， 而 函数 式 编程 则 是 将 计 
算 过 程 抽象 成 表达 式 求 值 。 这 些 表达 式 由 纯 数 学 函数 构成 ， 而 这 些 数 
学 函数 是 第 一 类 对 象 (我 们 可 以 像 操作 数值 一 样 操作 第 一 类 对 象 ) 并 
且 没 有 副作用 。 由 于 没有 副作用 ， 男 数 式 编程 可 以 更 容易 做 到 线程 安 
全 ， 因 此 特别 适合 于 并 发 编程 。 这 也 是 我 们 学 习 的 第 一 个 可 以 直接 文 
持 并 行 的 模型 。 


3.1 GRR, MARE 

第 2 章 提 到 的 有 关 锁 的 一 些 规则 ， 都 是 针对 于 线程 之 间 共 享 的 可 变 的 数 
据 一 一 换个 说 法 就 是 共享 可 变 状态 。 而 对 于 不 变 的 数据 ， 多 线程 不 使 
用 后 就 可 以 安全 地 进行 访问 。 


这 束 古 为 什么 在 解决 并 发 和 并 行 问题 时 函数 式 编 往 会 如 此 引 人 注 目 
它 没 有 可 变 状态 ， 所 以 不 会 遇 到 由 共 至 可 变 状 态 市 来 的 种 种 问 


题 。 


本 章 中 我 们 将 用 Clojure 语 言 1 来 介绍 画 数 式 编程 ， 这 是 一 门 运行 在 JVM 
上 的 Lisp 方 言 。Clojure 是 动态 类 型 语言 ， 如 果 你 是 Ruby 或 Python 程序 
员 ， 肯 和 定 不 会 对 此 感到 阳 生 。 虽 然 Clojure 不 是 一 门 纯粹 的 函数 式 语 

言 ， 但 本 章 只 会 讨论 其 函数 式 的 特征 。 本 书 只 能 按 需 介绍 Clojure， 如 

果 你 还 想 深 入 学 习 ， 推 荐 阅读 Stuart Halloway 和 Aaron Bedra 编 写 的 
《Clojure 程 序 设计 》2 。 


1 http://clojure.org 


“该 书 中 文 版 已 由 人 民 由 
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出 版 社 出 版 。 一 一 编者 注 


第 一 天 ， 我 们 将 学 习 函 数 式 编 程 的 基础 ， 并 了 解 如 何 并 行 化 一 个 钞 数 
式 算法 。 第 二 天 ， 深 入 学 习 Clojure 的 reducer 框 架 ， 以 及 在 该 框架 下 是 
如 何 进 行 并 行 化 的 。 第 三 天 ， 将 注意 力 从 并 行 转向 并 发 ， 利 用 future 模 
型 和 promise 模 型 创建 一 个 并 发 的 函数 式 Web 服 务 。 


3.2 第 一 天 : 抛弃 可 变 状态 
当 程序 员 初次 学 习 画 数 式 编程 时 ， 第 一 反应 通常 是 怀 和 


经 么 可 能 不 更 新 变量 。 经 过 后 面 的 学 习 你 会 发 现 ， 这 不 仅 和 是 可 能 的 ， 
而 且 要 比 写 命令 式 的 代码 更 位 单 。 


可 变 状态 的 风险 


今天 将 重点 讨论 并 行 。 我 们 将 创建 一 个 简单 的 函数 式 程 序 ， 并 演示 如 
何 轻松 地 将 其 并 行 化 。 


过 要 移 来 学 习 几 个 Java 的 例子 ， 看 看 为 什么 要 避免 使 用 可 变 状态 。 
隐藏 的 可 变 状态 
下 面 这 个 类 没有 使 用 可 变 状态 ， 看 上 去 肯定 是 线程 安全 的 : 


FunctionalProgramming/DateF ormatBug/src/main/java/com/paulb 
utcher/DateParser.java 


class 


DateParser { 
private final DateFormat 


format = new SimpleDateFormat 
("yyyy-MM-dd 
"); 
public Date 
parse(String 
s) throws 


ParseException { 
return 


format.parse(s); 


但 当 多 个 线程 使 用 这 个 类 的 同一 对 象 时 (源码 可 以 在 本 书 配套 代码 中 
找到 ) ， 首 次 运行 可 能 会 得 到 如 下 错误 : 


Caught: java.lang.NumberFormatException: For input string: 
".12012E4.12012E4" 

Expected: Sun Jan 01 00:00:00 GMT 2012, got: Wed Apr 15 00:00:00 
BST 2015 


再 次 运行 ， 可 能 又 会 得 到 如 下 错误 : 


Caught: java.lang.ArrayIndexOutOfBoundsException: -1 
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三 次 运行 ， 可 能 还 会 得 到 另 一 个 销 误 ; 


Caught: java.lang.NumberFormatException: multiple points 
Caught: java.lang.NumberFormatException: multiple points 


an 这 段 代码 只 有 一 个 成 员 变 量 ， 而 且 被 标记 成 不 可 变 ( 即 final 


， 但 显然 这 段 代码 根本 达 不 到 线程 安全 ， 为 什么 呢 ? 


造成 问题 的 原因 是 SimpleDateFormat 内 部 有 隐藏 的 可 变 状态 。 你 可 
能 会 认为 这 应 该 是 个 bug? ， 但 对 我 们 来 说 是 不 是 bug 并 不 重要 。Java 这 
类 语 言 为 了 让 代码 写 起 来 简单 在 此 隐藏 了 可 变 状态 ， 这 也 使 我 们 无 

法 判断 何 时 会 发 生 问 题 一 -从 API 无 法 判断 SimpleDateFormat 是 否 
是 线程 安全 的 © 


3 http://bugs.sun.com/bugdatabase/view_bug.do?bug_id=4228335 


隐藏 的 可 变 状态 还 不 是 唯一 需要 留意 的 问题 ， 我 们 再 来 看 一 个 。 
逃逸 的 可 变 状态 


假设 我 们 要 创建 一 个 管理 比赛 的 web 服务 。 需 求 是 能 管理 一 个 运动 员 列 
表 ， 我 们 会 习惯 地 写 出 如 下 代码 : 


public class 


Tournament { 
private List 


<Player> players = new LinkedList 
<Player>(); 
public synchronized void 
addPlayer(Player p) { 
players.add(p); 


public synchronized Iterator 


<Player> getPlayerIterator() { 
return 


players.iterator(); 


} 


乍 一 看 上 去 这 段 代 码 是 线程 安全 的 一 players 是 私有 变量 ， 仅 被 
addPlayer() 和 getPlayerIterator() 使 用 ， 且 两 个 方法 都 标记 
了 synchronized。 然 而 它 并 不 是 线程 安全 的 ， 因 为 
getPlayerIterator() 返回 的 迭代 器 仍 引 用 了 players 内 部 的 可 
变 状态 一 一 如 果 在 迭代 器 被 使 用 时 ， 另 一 个 线程 调用 了 addPlayer( ) 
方法 ， 那 么 程序 就 会 抛 出 ConcurrentModificationException 或 
者 变 得 更 糟 。 也 就 是 说 可 变 状态 从 Tournament 的 重重 防护 下 逃逸 
Ta 


在 并 发 编程 中 ， 隐 藏 和 逃逸 仅仅 是 两 种 可 变 状态 带 来 的 风险 一 -还 有 
很 多 其 他 风险 。 如 果 能 找到 一 种 不 使 用 可 变 状态 的 方法 ， 就 可 以 避 开 
这 些 风 险 ， 这 正 是 函数 式 编程 为 我 们 带 来 的 明光。 
Clojure 旋 风 之 旅 


了 解 Clojure 的 Lisp 语 法 只 需要 几 分 钟 。 


体验 Clojure 最 简单 的 方法 是 使 用 它 的 REPL (Read-Evaluate-Print 

Loop) ， 可 以 通过 lein repl 来 启动 REPL (lein 是 Clojure 的 构建 工 
具 ) 。 在 REPL 中 输入 代码 ， 代 码 将 被 立刻 执行 ， 既 不 需要 创建 源 文 
件 ， 也 不 需要 编译 ， 这 在 进行 代码 试验 时 会 出 人 意料 地 方便 。REPL 局 
动 后 ， 会 看 到 如 下 提示 符 : 


user 


在 提示 符 后 输入 的 Clojure 代 码 将 立刻 被 执行 。 


Clojure 代 码 由 s- 表 达 式 构成， 可 以 将 s- 表 达 式 视 为 带 括 号 的 列表 。 主 流 
语言 中 的 max(3，5) 在 Clojure 中 写成 : 


user 


=> (max 3 5 


) 
5 


数学 运算 从 也 是 同样 的 表示 方式 。 比 如 1 + 2 * 3 ， 写 成 : 


=> (+ 1 (* 2 3)) 
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使 用 def ALE Cie: 


user 


=> (def meaning-of-life 42 


#'user/meaning-of -life 
user 


=> meaning-of-life 


eo 


控制 结构 也 可 以 写成 s- 表 达 式 : 


user 


=> (if (< meaning-of-life 0 


) "negative" "non-negative" ) 


"non-negative" 


Clojure 的 大 多 数 语句 都 是 一 个 s- 表 达 式 ， 然 而 也 有 个 别 例外 。 矢 量 ( 数 
组 ) 字面 量 是 用 方 括号 表示 的 : 


user 

=> (def droids ["Huey" "Dewey" "Louie"]) 
#'user/droids 

user 

=> (count droids) 

3 

user 

=> (droids 0) 


"Huey" 
user 


=> (droids 2) 


"Louie" 


map 字 面 量 是 用 人 花 括 号 表示 的 : 


user 


=> (def me 
{:name "Paul" :age 45 :sex :male 


}) 


#'user/me 
user 


=> (:age me) 


45 


map 的 键 通常 是 关键 字 (keyword) 《 ， 关 键 字 以 冒号 开头 ， 非 常 类 似 
于 Ruby 中 的 符号 (symbol) 或 Java 中 的 保留 字符 串 (interned string) ° 


4 此 处 关键 字 是 指 Clojure 中 的 数据 类 型 ， 而 并 非 编程 语言 中 的 for + while 这 一 类 关键 字 。 
一 一 译 者 注 


使 用 defn 可 以 定义 函数 ， 函 数 参 数 是 天 量 形式 的 : 


X 


user 


=> (defn percentage [x p] (* x (/ p 100.0))) 


#'user/percentage 
user 


=> (percentage 200 10) 


20.0 


Clojure 旋 风 之 旅 束 此 结束 。 以 后 我 们 还 会 介绍 Clojure 的 其 他 特性 。 
第 一 个 函数 式 程序 


我 们 一 直 说 函数 式 编 程 最 有 趣 的 地 方 古 不 使 用 可 变 状 态 ， 但 一 直 没 有 
举例 说 明 。 现 在 整 来 补充 一 个 例子 。 


对 一 个 数列 求 和 ， 如 末 使 用 Java 这 种 命令 式 语言 ， 会 写成 下 面 这 样 : 


public int 


sum(int 


[] numbers) { 
int 


accumulator = 0; 
for 


(int 
n: numbers) 
accumulator += n; 


return 


accumulator; 


这 上 段 代码 中 accumulator 是 可 变 的 : Efor 循环 中 每 次 都 会 更 新 
值 ， 因 此 这 段 代 码 不 是 函数 式 的 。 相 比 之 下 ， 使 用 Clojure 的 方案 可 以 
不 使 用 可 变 状态 : 


FunctionalProgramming/Sum/src/sum/core.clj 


(defn 


recursive-sum [numbers] 
(if 
(empty 
? numbers) 


0 
(+ (first 


numbers) (recursive-sum (rest 


numbers) )))) 


这 是 一 个 递归 的 的 方案 一 一 recursive-sum 递归 地 调用 自己 。 如 果 
numbers 为 空 ， 则 返回 0。 否则 ， 将 numbers 的 第 一 个 元 素 (first 
) 与 其 他 元 素 (rest ) 的 和 相 加 ， 并 返回 结果 。 


这 个 方案 是 可 行 的 ， 但 还 能 做 得 更 好 。 下 面 这 种 方案 更 简单 高 效 : 


FunctionalProgramming/Sum/src/sum/core.clj 


(defn 


reduce-sum [numbers] 


(reduce 
(fn 


[acc x] (+ 


acc X)) © numbers) ) 


这 段 代 码 使 用 了 Clojure 的 reduce Kr, H6302% “ML tai K 
数 、 一 个 初始 值 和 一 个 集合 。 


代码 中 用 fn 定义 了 一 个 匿名 化 简 函 数 ， 其 接受 两 个 参数 并 返回 参数 的 
和 “。 这 个 匿名 化 简 函 数 被 传 给 reduce ，reduce 为 集合 中 的 每 一 个 元 
素 都 调用 一 次 化 简 函 数 一 一 第 一 次 ， 初 始 值 (本 例 中 是 0) 和 集合 中 的 
第 一 个 元 素 被 传 给 化 简 函 数 ; 第 二 次 ， 将 第 一 次 调用 的 结果 和 集合 

的 第 二 个 元 素 传 给 化 简 函 数 ， 以 此 类 推 。 


先 别 残 营 ， 我 们 还 可 以 继续 改进 一 一 + 是 个 现成 的 函数 ， 接 受 两 个 参数 
并 返回 参数 的 和 。 直 接 用 + 来 蔡 换 匿名 化 简 函 数 : 


FunctionalProgramming/Sum/src/sum/core.clj 


(defn 


sum [numbers ] 


(reduce + 


numbers ) ) 


现在 可 以 鼓 党 了。 我 们 得 到 了 一 个 比 命令 式 编 程 更 简单 明了 的 方案 ， 
这 种 体验 可 以 说 是 将 命令 式 方案 转换 成 钞 数 式 方案 时 的 普遍 感受 。 


小 乔 爱 问 : 
如 果 将 空 集合 传 给 reduce 会 发 生 什么 ? 
sum 函数 的 最 终 版 中 我 们 没有 加 reduce 传 初始 值 : 


(reduce 
+ numbers) 


这 可 能 会 引发 你 的 思考 ， 如 果 向 reduce 传 入 一 个 空 集 合 会 发 生 什 
A? 管 案 是 一 切 运 行 正常 ， 并 且 reduce 会 返回 0: 


sum.core 


=> (sum []) 


0 


ABA, reduce 如 何 知道 应 该 返回 0 (而 不 是 其 他 值 ， 比 如 1 或 nil 
) 2 这 涉及 Clojure 中 很 多 操作 符 都 具有 的 一 个 特性 一 一 操作 符 知 
道 自己 的 特征 值 (identity value) 是 什么 。 以 + 函数 为 例 ， 其 可 以 
接受 任意 数目 的 参数 ， 包 括 0 个 参数 ; 

=> (+ 1 2) 

3 


user 


=> (+ 12 3 4) 


当 用 0 个 参数 调用 函数 时 ， 函 数 会 运 回 加 法 的 特征 值 ， 即 0 。 


类 似 地 ，* 返 回 乘法 的 特征 值 ， 即 1。 


如 果 不 向 reduce 传 初 始 值 ， 那 reduce 将 使 用 0 个 参数 来 调用 画 
数 ， 并 用 其 作为 初始 值 。 


顺便 一 提 ， 由 于 + 可 以 接受 者 干 个 参数 ， 因 此 我 们 也 可 以 用 app1y 
来 实现 Sum HAL °c apply 可 以 接受 一 个 函数 和 一 个 矢量 ， 调 用 函 
数 时 将 这 个 矢量 展开 作为 函数 的 参数 : 


FunctionalProgramming/Sum/src/sum/core.clj 


(defn 


apply-sum [numbers] 


(apply 


+ numbers) ) 


但 是 ， 与 使 用 reduce 不 同 ， 使 用 apply 的 代码 不 能 轻易 地 并 行 
化 。 


轻松 并 行 


我 们 已 经 有 了 一 些 函 数 式 的 代码 ， 那 怎么 让 它 并 行 呢 ? 需要 如 何 修改 
sum 函数 呢 ? 其 实 只 需要 做 非常 小 的 改动 : 


FunctionalProgramming/Sum/src/sum/core.clj 


(ns 


sum.core 
(:require [clojure.core.reducers :as r])) 


(defn 


parallel-sum [numbers] 
(r/fold + numbers) ) 
唯一 的 修改 是 这 段 代 码 用 clojure,core.reducers 包 (代码 中 使 用 
其 缩写 r ) 提供 的 fold Kr T reduce 。 


下 面 是 REPL 的 一 组 运行 结果 ， 展 示 了 性 能 的 提升 : 


sum. core=> 


(def numbers (into [] (range 0 10000000))) 


#'sum.core/numbers 
sum. core=> 


(time (sum numbers) ) 

"Elapsed time: 1099.154 msecs" 
49999995000000 
sum.core=> 

(time (sum numbers) ) 
"Elapsed time: 125.349 msecs" 
49999995000000 
sum.core=> 

(time (parallel-sum numbers) ) 
"Elapsed time: 236.609 msecs" 
49999995000000 
sum.core=> 

(time (parallel-sum numbers) ) 


"Elapsed time: 49.835 msecs" 
49999995000000 


这 段 代 码 先 用 into 函数 将 0 到 10 000 000 之 间 的 数字 添加 到 一 个 空 矢量 
中 ， 以 此 构造 一 个 初始 矢量 。 接 着 使 用 time 来 打印 某 段 代码 的 运行 时 


译 器 ， 这 样 才 能 得 到 比较 客观 的 运行 时 间 。 
在 我 的 四 核 的 Mac 上 ， 使 用 fold 让 代码 的 运行 时 间 从 125 ms 降 到 了 50 


ms， 加 速 比 为 2.5。 第 二 天 中 我 们 将 展开 学 习 fo1d 的 实现 细节 ， 现 在 
先 来 看 看 之 前 Wikipedia 词 频 统计 的 例子 ， 实 现 其 函数 式 版 本 。 


Wikipedia 词 频 统计 的 函数 式 版 本 


我 们 先 来 写 一 个 Wikipedia 词 频 统计 的 串 行 执行 版 本 一 明天 再 来 对 它 
进行 并 行 化 。 程 序 需要 以 下 三 个 画 数 。 


。 函数 1， 接 受 Wikipedia XML dump， 返 回 dump 中 的 页 面 序 列 。 

。 函 数 2， 接 受 一 个 页 面 ， 返 回 页 面 上 的 词 序列 。 

。 畏 数 3， 接 受 一 个 词 序列 ， 返 回 含 有 词 频 的 map 。 
我 们 不 会 详细 介绍 前 两 个 函数 一 一 毕竟 本 书 的 主题 是 并 发 ， 而 不 是 
XML 或 字符 串 处 理 (相关 细节 请 参见 本 书 的 配套 代码 )。 在 此 着 重 讨 
论 如 何 统 计 词 频 ， 因 为 之 后 我 们 还 将 对 这 部 分 进行 并 行 化 处 理 。 
函数 式 map 


要 得 到 一 个 包含 词 频 的 map， 就 需要 理解 Clojure 的 两 个 map 处 理 函 数 
— get 和 assoc : 


user 


=> (def counts {"apple" 2 "orange" 1}) 
#'user/counts 

user 

=> (get counts "apple" 0) 

2 

user 


=> (get counts "banana" 0) 


0 
user 


=> (assoc counts "banana" 1) 
{"banana" 1, "orange" 1, "apple" 2} 
user 


=> (assoc counts "apple" 3) 


{"orange" 1, "apple" 3} 


get 从 map 中 查找 键 ， 如 果 找 到 则 返回 对 应 值 ， 否 则 返回 默认 值 。 
assoc 接受 一 个 map 和 一 个 键 值 对 ， 在 原 有 map 的 基础 上 返回 一 个 包含 
中 定 键 值 对 的 新 map。 


词 频 统 计 画 数 


我 们 已 经 准备 好 实现 词 频 统计 函数 了 ， 这 个 函数 接受 一 个 词 序列 ， 并 
退回 一 个 map， 这 个 map 的 键 是 词 ， 值 是 该 词 出 现 的 次 数 : 


FunctionalProgramming/WordCount/src/wordcount/word_frequen 
cies.clj 


(defn 


word-frequencies [words] 
(reduce 


(fn 


[counts word] (assoc 


counts word (inc 


(get 


counts word 0)))) 
{} words) ) 


这 上段 代码 将 一 个 空 的 map{} 作为 初始 值 传 给 reduce 。 再 对 words 中 
的 每 个 元 素 ， 将 其 现 有 次 数 加 1。 试 用 一 下 : 


user=> 


(word-frequencies ["one" "potato" "two" "potato" "three" "potato" 
"four" ]) 


{"four" 1, "three" 1, "two" 1, "potato" 3, "one" 1} 


Clojure 标 准 库 已 经 走 在 了 我 们 前 面 一 一 提供 了 frequencies Hay, 1% 
函数 能 针对 任何 集合 ， 输 出 集合 中 每 个 元 素 的 出 现 次 数 : 


user=> 


(frequencies ["one" "potato" "two" "potato" "three" "potato" 
"four" ]) 


{"one" 1, "potato" 3, "two" 1, "three" 1, "four" 1} 


我 们 已 经 学 会 了 如 何 统计 词 频 ， 剩 下 的 吏 是 将 其 与 XML 处 理 结合 起 


插播 一 些 与 序列 相关 的 画 数 


为 了 理解 今后 的 代码 ， 得 插播 一 些 与 序列 相关 的 机 制 。 首 移 ， 介 绍 映 
Ht A aimap : 


user=> 


(map inc [0 1 2 3 4 5]) 


(12345 6) 
user=> 


(map (fn [x] (* 2 x)) [0 1 2 3 4 5]) 


(0 2468 10) 


map 函数 接受 一 个 函数 f 和 一 个 序列 ， 并 返回 一 个 新 序列 ， 对 于 输入 
序列 中 的 每 个 元 隶 都 会 调用 一 次 函数 f ， 并 以 元 素 的 值 作为 f 的 参数 ， 
f 的 返回 值 则 成 为 新 序列 的 对 应 元 素 。 


然后 ， 介 绍 partial 函数 ， 利 用 partial MAAK LARS 
一 个 调用 简化 一 下 。partial 接受 一 个 函数 和 若干 参数 ， 返 回 一 个 被 
局 部 代入 的 函数 ? : 


Cn 


举例 说 明 ， 假 设 有 一 个 数学 函数 f(a, b,c)， partial(f, 1) 返回 的 是 数学 函数 
f(1, b,c) ， 函 数 的 参数 a 已 经 被 代入 了 。 译 者 注 


user=> 


(def multiply-by-2 (partial * 2)) 


#'user/multiply-by-2 
user=> 


(multiply-by-2 3) 
6 
user=> 


(map (partial * 2) [0 1 2 3 4 5]) 


(0 2468 10) 


最 后 ， 假 设 有 一 个 函数 会 返回 一 个 序列 ， 比 如 用 正则 表达 式 将 字符 串 
切割 成 词 的 序列 : 


user=> 


(defn get-words [text] (re-seq #"\wt" text)) 


#'user/get-words 
user=> 


(get-words "one two three four") 


"one" "two" "three" "four" ) 


显然 ， 对 一 个 字符 串 序 列 用 get -words 进行 映射 ， 会 得 到 一 个 二 维 序 
列 : 


user=> 


(map get-words ["one two three" "four five six" "seven eight 
nine"]) 


(("one" "two" "three" ) ("four" "Five" "six") ("seven" "eight" 
"nine" ) ) 


如 果 需 要 包含 所 有 输出 的 一 维 序列 ， 则 可 以 使 用 mapcat : 


user=> 


(mapcat get-words ["one two three" "four five six" "seven eight 
nine"]) 


"one" "two" "three" "Four" "Five" "oix" "seven" "eight" "nine" 
一 切 准备 束 绪 ， 现 在 可 以 组 装 我 们 的 词 频 统计 函数 了 。 
组 装 


我 们 将 这 个 词 频 统计 函数 命名 为 count-words-sedquential ， 它 接 
受 一 个 页 面 序列 ， 同 时 返回 含有 对 应 词 频 的 map: 


FunctionalProgramming/WordCount/src/wordcount/core.clj 


(defn 


count -words-sequential [pages] 
(frequencies 


(mapcat 


get-words pages) )) 


这 段 代码 首先 用 (mapcat get-words pages) 将 页 面 序列 转化 成 词 
序列 ， 再 将 词 序 列传 给 fredquencies 。 


与 之 前 命令 式 版 本 〈 参 见 2.4 节 中 “一 个 完整 的 程序 ”部 分 ) AEE, EBL 
式 版 本 的 简洁 优 美 又 一 次 得 到 印证 。 


你 可 能 有 一 个 困惑 一 一 Wikipedia dump 的 大 小 将 近 40 GiB ° WR 
count -words 将 其 中 的 词 都 存放 到 一 个 序列 中 ， 内 存 应 该 会 不 够 用 。 


实际 情况 并 不 是 这 样 ， 因 为 Clojure 中 序列 是 懒惰 的 (azy) 一 一 其 中 
的 元 素 仅 在 需要 时 被 求 值 。 举 例 说 明 : 


range 函数 会 产生 一 个 数列 : 


user=> 


(range 0 10 


) 
(0123456789) 


上 面 的 数列 在 REPL 中 会 被 完全 求 值 并 输出 。 


我 并 不 能 阻止 你 对 一 个 超大 艺 围 进行 求 值 ， 但 这 样 做 ， 你 的 电脑 很 有 
可 能 变 成 一 全 高 热 的 暧 风机 。 比 如 下 面 的 这 个 例子 ， 和 需要 花费 很 长 时 
间 才 会 得 到 输出 (假设 内 存 足 够 用 ) : 


user=> 


(range 0 100000000) 


再 试 试 下 面 的 例子 ， 能 立刻 得 到 输出 : 


(take 10 (range 0 100000000)) 


(0123456789) 


由 于 take 只 需要 数列 的 前 10 个 元 素 ， 因 此 range 只 需要 产生 10 个 元 
素 。 这 个 机 制 适用 于 任意 层次 的 般 套 : 


user=> 


(take 10 (map (partial * 2) (range © 100000000) ) ) 


(0 2 46 8 10 12 14 16 18) 


甚至 可 以 使 用 无 穷 序 列 。 比 如 ，iterate 函数 会 不 断 将 某 个 函数 应 用 

到 初始 值 、 第 一 次 的 返回 值 、 第 二 次 的 返回 值 .…... 来 构成 无 穷 序 列 : 
(take 10 (iterate inc 0)) 

(012345678 9) 


(take 10 (iterate (partial + 2) 0)) 


(0 2 46 8 10 12 14 16 18) 


所 谓 序 列 是 懒惰 的 ， 不 仅 意味 着 其 仅 在 需要 时 (也 可 能 永远 不 需要 ) 

才 生成 序列 的 尾 元 素 ， 还 意味 着 序列 的 头 元 素 在 使 用 后 NRA 

ee 。 比 如， 下 面 的 例子 需要 运行 一 段 时 间 ， 但 不 会 
SINIF: 


user=> 


(take-last 5 (range 0 100000000) ) 


(99999995 99999996 99999997 99999998 99999999) 


回 到 词 频 统计 ，get-pages 返回 的 页 面 序列 是 籁 惰 的 ， 因 此 count - 
words 完全 可 以 处 理 40 GiB 的 Wikipedia dump“。 另 外 这 段 代 码 很 容易 被 
并 行 化 ， 明 天 将 具体 介绍 。 


第 一 天 总 结 


第 一 天 的 学 习 结束 了 。 第 二 天 我 们 会 对 词 频 统计 进行 并 行 化 ， 还 要 深 
入 了 解 fold KR ° 


第 一 天 我 们 学 到 了 什么 


由 于 普遍 使 用 了 共享 可 变 状态 ， 用 命令 式 语言 进行 并 发 编程 的 难度 是 
比较 蜗 的 。 HAA AEA T “zR e 让 并 发 编程 变 得 更 容易 


。 用 map 或 mapcat 对 一 个 序列 的 每 个 元 素 进 行 映 射 ; 
。 用 序列 的 懒惰 特性 来 处 理 较 大 的 序列 ， 甚 至 无 穷 序列 ; 
。 用 reduce 将 序列 化 简 为 一 个 (可 能 比较 复杂 的 ) 值 ; 
。 用 fold 对 reduce 进行 并 行 化 。 

第 一 天 自习 

查找 
。 阅读 Clojure 的 cheat sheet， 快 速 查 | 阅 Clojure 的 常用 函数 。 


。 a 的 相关 文档 ， 使 用 lazy-seq 可 自 建 一 个 懒惰 序 
列 。 


实践 


。 与 许多 函数 式 语言 不 同 ， Clojure si P e va FE THER (tail-call 
elimination) , 因此 Clojure 代 码 通 季 很 少 > 使 用 递归 。 重 写 
recursive-sum HA (参见 本 节 “ 第 一 个 函数 式 程序 ”部 分 ) ， 
FAloop 和 recur 替换 递归 。 


。 重 写 reduce-sum 函数 (参见 本 节 ”“ 第 一 个 函数 式 程序 部 分 ) ， 
用 读 取 器 宏 (reader macro) #() 蔡 换 (fn ...) ° 


3.3 第 二 天 : WAAHI 


今天 先 来 学 习 如 何 将 Wikipedia 词 频 统 计 程 序 并 行 化 ， 然 后 再 深入 研究 
fold 范 数 的 细节 ， 以 说 明 如 何 用 函数 式 编 程 来 实现 并 行 。 


每 次 一 页 


第 一 天 我 们 学 习 了 map 函数 ， 其 将 某 画 数 依次 应 用 于 输入 序列 的 每 个 
元 素 ， 并 返回 函数 应 用 后 的 新 序列 。 但 这 个 过 程 其 实 没 有 必要 串 行 执 
行 一 一 Clojure 提 供 了 功能 类 似 于 map 的 pmap Wee, HV ANAT 
是 可 以 并 行 的 。pmap 在 需要 结果 时 可 以 并 行 计 算 ， 但 仅 生 成 所 需要 的 
而 不 是 全 部 的 结果 ， 这 个 特性 称 为 半 懒 惰 (semi-lazy) ê ° 


6 David Edgar Liebke 给 出 过 一 个 更 容易 理解 的 描述 : http://incanter.org/downloads/fjclj.pdf ° 
译 者 注 


用 下 面 的 代码 可 以 并 行 地 将 Wikipedia 的 页 序列 转换 成 词 频 map 的 序列 : 


(pmap 


#(frequencies 


(get-words %)) pages) 


上 述 代码 用 读 取 器 宏 #( , ,, ) 来 声明 传 给 pmap 的 函数 ， 读 取 器 宏 可 以 
快速 创建 匿名 函数 。 函 数 的 参数 通过 %1 、%2 等 来 标识 ， 如 有 果 只 有 一 
个 参数 ， 可 以 通过 % 进行 标识 : 


#(frequencies 
(get-words %)) 
与 其 等 价 的 代码 为 : 


(fn 


[page] (frequencies 


(get-words page) )) 


wordcount.core=> 
(def pages ["one potato two potato three potato four" 


"five potato six potato seven potato 
more" ]) 


#'wordcount.core/pages 
wordcount.core=> 


(pmap #(frequencies (get-words %)) pages) 


({"one" 1, "potato" 3, "two" 1, "three" 1, "four" 1} 
{"five" 1, "potato" 3, "six" 1, "seven" 1, "more" 1}) 


现在 可 以 将 所 得 的 序列 化 简 成 一 个 map， 从 而 得 到 我 们 需要 的 词 频 总 
数 。 化 位 函 数 将 按照 以 下 规则 合并 两 个 map: 


。 输出 map 的 键 是 两 个 输入 map 的 键 的 并 集 ; 


。 有 菏 键 存在 于 一 个 输入 map 中 ， 那 在 输出 map 中 的 对 应 值 等 于 在 输 
入 map 中 的 对 应 值 ; 


。 后 落 键 存 在 于 两 个 输入 map 中 ， 那 在 输出 map 中 的 对 应 值 等 于 在 输 
入 map 中 的 对 应 值 的 和 。 


如 图 3-1 所 示 。 


| | 
y 


y 
one: 1 three:1 
two:1 four:1 

potato:2 potato:1 


x ¢ 
N ra 
Ni onel | 


two:l 

three:1 一 一 > 统计 词 频 
four:1 
potato:3 > 合并 词 频 


图 3-1 将 Wikipedia 的 两 页 合并 成 一 个 词 频 map 


我 们 可 以 自 建 一 个 化 简 画 数 ,， 但 (与 以 往 一 样 ) 标准 库 已 经 提供 了 合 
适 的 函数 。API 文 档 如 下 : 


(merge-with f & maps) 


merge-with maps 中 其 余 的 map 合 并 到 第 一 个 map 中 ， 返 回合 并 后 


的 map 一 一 如 果 多 个 map 包 含 同一 个 键 ， 那 该 键 对 应 的 多 个 值 将 被 (从 
左 向 右 地 ) 合并 到 结果 map 中 ， 合 并 的 方法 是 调用 (f val-in- 


result val-in-latter) ° 


之 前 我 们 学 习 过 partial 函数 ， 其 返回 一 个 被 局 部 代入 的 函数 ， 所 以 
(partial merge-with +) 可 以 返回 一 个 用 于 合并 map 的 函数 ， 这 
个 函数 使 用 + 对 同一 个 键 的 多 个 值 进 行 合 并 : 


user=> 


(def merge-counts (partial merge-with +) ) 


#'user/merge-counts 


user=> 


(merge-counts {:x 1 :y 2} {:y 1 :z 1}) 


Foz dp iy Sg age i} 


将 上 述 要 点 组 装 起 来 ， 就 得 到 了 并 行 版 本 的 词 频 统 计 程 序 : 
FunctionalProgramming/WordCount/src/wordcount/core.clj 


(defn 


count-words-parallel [pages] 
(reduce 


(partial merge-with + 


) 
(pmap 


#(frequencies 


(get-words %)) pages))) 


搞定 ， 现 在 来 测 弃 一 下 性 能 。 
利用 批 处 理 改善 性 能 


在 我 的 MacBook Pro 上 ， 用 串 行 版 本 的 词 频 统 计 程 序 处 理 Wikipedia 的 前 
100 000 页 需要 花费 140 秒 。 并 行 版 本 需要 花费 94 秒 ， 加 速 比 是 1.5。 我 
们 已 经 使 用 并 行 得 到 了 提速 ， 但 并 不 理想 。 


与 之 前 在 线程 与 锁 方 案 中 分 析 的 原因 类 似 (A024) ， 逐 页 地 进行 
计数 和 合并 会 导致 大 量 的 合并 操作 。 如 果 能 对 页 面 进 行 批 处 理 ， 将 大 
大 减少 合并 操作 的 次 数 ， 如 图 3-2 所 示 。 


时 间 | | | | 
y y y y 


N 
[8 iR 


页 面 批 次 3 | 页面 批 次 4 | 页面 批 次 5 


Y y Yy Yy 


> [BED 


页 面 批 次 3 页 面 批 次 6 


| | | | 
y y y y 
N 一 一 > 统计 词 频 


> 合并 词 频 


[epee ep > 计数 结果 


图 3-2 批 处 理 版 本 的 词 频 统 计 


举例 说 明 ， 将 100 个 页 面 作为 一 个 批 次 进行 处 理 ，word-count 的 代码 
修改 如 下 : 


FunctionalProgramming/WordCount/src/wordcount/core.clj 


(defn 


count-words [pages] 
(reduce 


(partial merge-with + 


(pmap 


count-words-sequential (partition-all 100 pages)))) 


这 里 用 到 了 partition-all 函数 ， 其 可 以 将 一 个 序列 中 的 元 素 分 批 
(或 称 分 区 ) ， 构 成 多 个 序列 : 


user 


=> (partition-all 4 [1234567 8 9 10]) 


((1 2 3 4) (567 8) (9 10)) 


像 之 前 一 样 ， 可 以 用 count -words-sedquential 对 每 批 页 面 进行 词 
频 统计 ， 然 后 合并 结 采 。 不 出 所 料 ， 这 一 版 本 处 理 Wikipedia 的 前 100 
000 页 需要 花费 44 秒 ， 提 速 3.2 倍 。 


化 简 器 


第 一 天 ， 我 们 曾经 用 fold 替换 reduce 并 获得 了 神奇 的 性 能 提升 。 想 
要 理解 fold 的 原理 ， 需 要 先 理解 Clojure 的 reducers 库 。 

化 简 器 (reducer) 描述 了 对 集合 进行 化 简 的 方法 。 普 通 版 本 的 map 接 
SP BR (ARTS) 序列 ， 并 返回 男 一 个 (可 能 是 懒 

惰 的 ) 序列 : 


user=> 


(map (partial * 2) [1 2 3 4]) 


(2 46 8) 


Iiclojure.core.reducers 提供 的 map 则 不 同 ， 接 受 相 同 的 参 
数 ， 但 返回 的 是 一 个 化 们 器 reducible : 


user=> 


(require '[clojure.core.reducers :as r]) 


nil 
user=> (r/map (partial * 2) [1 2 3 4]) 


#<reducers$folder$reify__1599 
clojure.core.reducers$folder$reify__1599@151964cd> 
reducible 不 能 作为 值 被 直接 使 用 ， 而 是 作为 参数 被 传 给 reduce : 


user=> 


(reduce conj [] (r/map (partial * 2) [1 2 3 4])) 


[2 46 8] 


上 述 代 码 中 ，conj 函数 的 第 一 个 参数 是 一 个 集合 (初始 时 是 空 集合 [] 
) ， 其 将 第 二 个 参数 合并 到 第 一 个 参数 中 。 因 此 这 段 代码 的 结果 与 只 
执行 map 的 结果 相同 。 


e AA ERIE T reduce, MA TEARRE S EARR ESA 


user=> 


(into [] (r/map (partial * 2) [1 2 3 4])) 


[2 4 6 8] 


clojure.core fethAy Amba Fry!) hE KRA OT MAAE , 
包括 之 前 见 过 的 map 和 mapcat ° Sclojure.core 提供 的 函数 类 
似 ， 其 化 简 器 版 本 也 可 以 被 租 套 使 用 : 


(into [] (r/map (partial + 1) (r/filter even? [1 2 3 4]))) 


[3 5] 


一 个 化 简 器 ， 并 不 代表 函数 返回 的 结果 ， 而 是 代表 如 何 产 生 结 果 的 描 
述 被 传 给 reduce 或 fold 之 前 ， 化 简 器 不 会 进行 求 值 。 这 样 做 主 
要 有 两 个 好 处 : 


。 骨 套 的 函数 返回 化 简 器 比 返 回 懒惰 序列 的 效率 更 高 ， 因 为 其 不 用 
MEERES EI 


。 对 整个 藤 套 链 的 集合 操作 ， 可 以 用 fold 进行 并 行 化 。 


AC ial as Ale 


为 了 理解 化 简 器 的 原理 ， 我 们 将 创建 一 个 略微 简单 却 仍然 高 效 的 类 似 
Fclojure.core.reducers 的 库 。 首 先 需 要 理解 Clojure 的 协议 

(protocol) 。 协 议 非常 类 似 于 Java 中 的 接口 一 一 其 是 一 系列 方法 的 集 
合 ， 并 定义 了 一 个 抽象 的 概念 。Clojure 的 集合 就 是 通过 CoL1LReduce 
协议 来 支持 化 简 操 作 的 : 


(defprotocol 


CollReduce 
(coll-reduce [coll f] [coll f init])) 


CollReduce 声明 了 一 个 函数 co11- reduce ， 这 是 一 个 可 变 参 数 
(multiple arities) 函数 一 一 可 以 接受 两 个 参数 cee f) ， 也 可 以 
接受 三 个 参数 (coll1、f、init ) 。 第 一 个 参数 类 似 于 Java 中 的 
this ， 支 持 多 态 性 分 派 (polymorphic dispatch) 。 来 看 看 这 段 Clojure 
代码 : 


(coll-reduce coll f) 


与 这 段 代码 等 价 的 Java 代 码 是 : 


coll.collReduce(f); 


reduce 函数 只 是 简单 地 调用 co11-reduce ， 而 具体 的 任务 执行 则 交 
给 集合 本 身 。 我 们 自己 实现 的 类 似 reduce 函数 中 使 用 了 这 个 特性 : 


FunctionalProgramming/Reducers/src/reducers/core.clj 


(defn 


my-reduce 
([f coll] (coll-reduce coll f)) 
(Lf init coll] (coll-reduce coll f init))) 


这 段 代 码 还 使 用 了 一 个 之 前 没 学 过 的 defn 特性 一 defn 可 以 定义 参 
数 个 数 不 同 的 多 个 函数 (本 例 中 是 两 个 参数 和 三 个 参数 ) 。my- 
reduce 负责 将 参数 转发 给 col1-reduce 。 来 验证 一 下 : 


reducers.core=> 
(my-reduce + [1 2 3 4]) 

10 

reducers.core=> 


(my-reduce + 10 [1 2 3 4]) 


20 


现在 来 实现 一 个 类 似 map 的 函数 : 


FunctionalProgramming/Reducers/src/reducers/core.clj 


(defn 


make-reducer [reducible transformf ] 
(reify 


CollReduce 
(coll-reduce [_ f1] 

(coll-reduce reducible (transformf f1) (f1))) 
(coll-reduce [_ f1 init] 

(coll-reduce reducible (transformf f1) init)))) 


(defn 
my-map [mapf reducible] 
(make-reducer reducible 


(fn 


[reducef ] 


(fn 


[acc v] 
(reducef acc (mapf v)))))) 


这 上 段 代 码 定义 了 make-reducer HA, HRest— tiniasreducible 
和 一 个 转换 函数 transformf ， 并 返回 一 个 CollReduce 协议 的 实 
例 。 用 reify 实现 一 个 协议 ， 类 似 于 在 Java 中 用 new 创建 一 个 接口 的 
匿名 实例 。 


个 CollReduce 协议 的 实例 会 调用 reducible Aicoll-reduce 77 
。 其 用 transformf 对 f1 进行 转换 ， 并 用 转换 的 结果 ( 仍 是 一 个 函 
作为 传 给 co11-reduce 方法 的 一 个 参数 。 


小 乔 爱 问 : 
下 划 线 的 作用 ? 


在 Clojure 中 下 划 线 (_) 通常 作为 未 被 使 用 的 函数 参数 的 参数 名 。 
之 前 的 代码 可 以 写成 : 


(coll-reduce [this f1] 
(coll-reduce reducible (transformf f1) (f1))) 


但 用 下 划 线 可 以 明确 地 表达 出 this 是 未 被 使 用 的 。 


对 于 传 给 make-reducer 的 转换 函数 transformf ， 其 接受 一 个 函数 
tees 并 返回 这 个 函数 被 转换 后 的 版 本 。 以 my-map 中 的 转换 函数 
为 例 : 


(fn 


[reducef] 
(fn 


[acc v] 
(reducef acc (mapf v)))) 


曾经 介绍 过 ， 在 化 简 过 程 中 ， 为 集合 中 的 每 个 元 素 都 会 调用 一 次 化 简 
ERR o (LRT 数 的 第 一 个 参数 是 之 前 化 简 的 结果 (acc ) ， 第 二 个 参 


数 是 集合 中 的 某 个 元 素 。 所 以 ， 在 my-map 中 ， 对 化 简 函 数 reducef 
的 第 二 个 参数 需要 用 mapf (mapf 是 传 给 my-map 的 函数 ) 进行 转 
换 。 来 验证 一 下 : 


reducers.core=> 


(into [] (my-map (partial * 2) [1 2 3 4])) 


[2 4 6 8] 
reducers.core=> 


(into [] (my-map (partial + 1) [1 2 3 4])) 


[2345] 
当然 ，my -map teckel H: 


reducers.core=> 


(into [] (my-map (partial * 2) (my-map (partial + 1) [1 2 3 4]))) 


[4 6 8 10] 


RET EGF, ie AC ABET Ta, HRE 
(partial * 2) 和 (partial + 1) 组 合 后 的 函数 。 


我 们 已 经 学 习 了 化 人 商 亏 旦 如 何 提供 化 商 操 作 的 。 接 下 来 将 学 习 折 县 操 
作 fold 是 如 何 让 化 简 操作 并 行 化 的 。 


分 而 治之 


较 之 逐个 元 素 地 对 集合 进行 化 简 ，fo1d 则 使 用 二 分 算法 。 和 站 先 ， 

fold (BEE) 将 集合 分 为 两 组 ， 每 组 继续 分 为 更 小 的 两 组 ， 以 此 

类 推 ， 直 到 每 个 分 组 的 规模 小 于 某 个 限制 值 (默认 值 是 512) 。 其 次 ， 

Fold 对 每 个 分 组 进行 逐个 元 聚 地 化 催 。 最 后 ， 对 各 分 组 的 结 末 进 行 两 

直到 剩 下 一 个 最 终 的 结 采 。 整 个 过 程 类 似 于 一 个 二 又 树 ， 如 
3-377 ° 


x 
x 
y 
国 | J LI fe 
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Ee o 
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See ee 
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bs Hil 一 一 > 化 简 
eeeece > 合 


图 3-3 fold 二 又 树 


因为 fold (利用 Java 7 的 Fork/Join 框 架 ) 创建 了 一 个 并 行 任务 的 处 理 
树 ， 化 简 操 作 和 合并 操作 才 得 以 并 行 执行 。 化 简 操 作 在 树 的 叶子 节点 
进行 。 下 一 级 节点 等 和 寺 上 一 级 节点 的 化 简 操 作 的 结果 ， fea 
进行 合并 。 整 个 过 程 将 这 样 一 直 进 行 下 去 ， 直 到 树 的 根 节点 ， 获 得 最 
终 的 一 组 结果 o 


如 果 传 给 fold 的 范 数 仅 有 一 个 (之 前 的 例子 中 是 + ) ， 这 个 函数 将 被 
用 于 化 简 操 作 和 合并 操作 。 有 时 也 需要 让 化 简 函 数 与 合并 函数 不 同 ， 
以 后 我 们 会 学 习 到 这 一 点。 


HIER 


Ay NHT BHR MM EAF CollReduce 协议 ， 也 需 支 持 
CollFold 协议 : 
(defprotocol 


CollFold 
(coll-fold [coll n combinef reducef]) ) 


类 似 于 化 简 操 作 被 委托 给 co11-reduce ， 折 和 县 操作 则 被 委托 给 co11- 
fold: 


FunctionalProgramming/Reducers/src/reducers/core.clj 


(defn 


my-fold 
([reducef coll] 
(my-fold reducef reducef coll) ) 
([combinef reducef coll] 
(my-fold 512 combinef reducef coll)) 
([n combinef reducef coll] 
(coll-fold coll n combinef reducef)) ) 


当 接受 两 个 参数 或 三 个 参数 时 ，my -fold Acombinef Mn 提供 了 默 
认 值 ， 并 调用 自己 。 当 接受 四 个 参数 时 ，my -fold 将 调用 集合 的 
coll-fold 2X ° 


为 了 让 make-reducer 文 持 折 县 操作 ， 只 需要 让 make-reducer 3 
现 CollReduce 的 同时 再 实现 CollFold : 


FunctionalProgramming/Reducers/src/reducers/core.clj 


(defn 
make-reducer [reducible transformf ] 


(reify 


CollFold 
(coll-fold [_ n combinef reducef ] 


(coll-fold reducible n combinef (transformf reducef) ) ) 


CollReduce 
(coll-reduce [_ f1] 

(coll-reduce reducible (transformf f1) (f1))) 
(coll-reduce [_ f1 init] 

(coll-reduce reducible (transformf f1) init)))) 


实现 CollFold 非常 类 似 于 实现 CollReduce 一 ”首先 对 参数 中 的 化 
简 画 数 进行 转换 ， 然 后 将 参数 传 给 reducible 的 co11-fold 。 来 验 


reducers.core=> 


(def v (into [] (range 10000) )) 


#'reducers.core/v 
reducers.core=> 


(my-fold + v) 
49995000 
reducers.core=> 


(my-fold + (my-map (partial * 2) v)) 


99990000 


下 面 这 个 例子 使 用 了 不 同 函 数 分 别 进 行 化 简 和 合并 。 

APSR Mt 

回 到 之 前 词 频 统计 的 场景 ， 用 fo1d 来 实现 frequencies 函数 时 ， 非 
常 适合 使 用 不 同 的 函数 进行 化 简 和 合并 : 


FunctionalProgramming/Reducers/src/reducers/parallel_frequenci 
es.clj 


(defn 
parallel-frequencies [coll] 
(r/fold 
(partial merge-with + 
(fn 
[counts x] (assoc 


counts x (inc 


(get 


counts x 0)))) 
coll) ) 


这 让 我 们 想起 了 今天 早 些 时 候 学 习 的 批 处 理 版 本 的 count -words 一 一 
每 一 批 次 都 化 简 成 map， 然 后 通过 (partial merge-with +) 进行 
合并 。 

不 过 由 于 fold 不 能 适用 于 懒 惰 序 列 《因为 无 法 对 懒惰 序列 进行 二 

分 ) ， 因 此 没 办 法 用 Wikipedia 的 页 来 测试 fo1d。 但 可 以 用 一 个 很 长 的 
随机 数 序 列 来 进行 模拟 测试 。 

repeatedly 函数 反复 调用 传 入 的 函数 来 构造 一 个 无 穷 的 懒惰 序列 。 
本 例 中 传 入 的 是 rand-int 函数 ， 每 次 调用 rand-int 会 得 到 一 个 随 
机 整数 : 


user=> 


(take 10 (repeatedly #(rand-int 10))) 


(2628859255) 


用 下 面 的 代码 可 以 构造 一 个 很 长 的 随机 数 序列 : 


reducers.core=> 


(def numbers (into [] (take 10000000 (repeatedly #(rand-int 
10))))) 


#'reducers.core/numbers 


现在 分 别 用 frequencies #ilparallel-frequencies 对 该 随机 数 
序列 的 整数 频率 进行 统计 : 


reducers.core=> 


(require ['reducers.parallel-frequencies :refer :all]) 


nil 
reducers.core=> 


(time (frequencies numbers) ) 


"Elapsed time: 1500.306 msecs" 

{0 1000983, 1 999528, 2 1000515, 3 1000283, 4 997717, 5 1000101, 6 
999993, .. 

reducers.core=> 


(time (parallel-frequencies numbers) ) 


"Elapsed time: 436.691 msecs" 
{0 1000983, 1 999528, 2 1000515, 3 1000283, 4 997717, 5 1000101, 6 
999993, ... 


可 以 看 到 串 行 执行 的 fredquencies 运行 了 1500 ms， 而 并 行 版 本 运行 
了 400+ ms， 提 速 近 3.5 倍 。 


第 二 天 总 结 
我 们 在 第 二 天 中 讨论 了 如 何 用 Clojure 实 现 并 行 。 明 天 将 关注 如 何 用 


future 模 型 和 promise 模 型 实现 并 行 ， 以 及 如 何 利 用 它们 进行 数据 流 式 纺 
程 (dataflow programming) 。 


第 二 天 我 们 学 到 了 什么 
Clojure 可 以 将 串 行 操作 轻松 目 然 地 并 行 化 。 
。 pmap 可 以 将 映射 操作 并 行 化 ， 构 造 一 个 半 和 懒惰 的 map。 


。 利 用 partition-all 可 以 对 并 行 的 映射 操作 进行 批 处 理 ， 以 提 
高 处 理 效率 。 


。fold 使 用 分 而 治之 的 策略 ， 可 以 将 化 简 操 作 并 行 化 。 
clojure.core.reducers 包 提 供 的 类 似 map 、 类 似 mapcat ` 
类 似 filter 的 函数 返回 的 并 不 是 序列 ， 而 是 化 简 器 reducible 
， 可 以 说 这 是 化 简 操 作 的 关键 所 在 。 

第 二 天 自习 

查找 


。 观看 Rich Hickey 在 QCon 2012 上 介绍 reducers 库 的 视频 。 


。 fdizpcalls 和 pvalues 的 相关 文档 一 一 这 两 个 函数 与 pmap 有 
什么 区 别 ? 是 否 能 利用 pmap 来 实现 它们 ? 


实践 
。 在 my-map 的 基础 上 创建 mny-flatten 和 my-mapcat 函数 。 注 
意 : 它们 都 比 my-map 更 复杂 ， 因 为 需要 将 输入 序列 的 一 个 元 素 对 
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“Fh 。 
。 创建 my-filter 函数 。 它 也 比 my-map 更 复杂 ， 因 为 需要 减少 输 
入 序列 的 元 素 个 数 。 


34 第 三 天 : 函数 式 并 发 


前 两 天 我 们 一 直 在 关注 并 行 ， 今 天 会 将 注意 力 转 向 并 发 。 在 这 之 前 ， 
我 们 将 进一步 探究 为 何 画 数 式 编程 能 轻易 地 实现 并 行 化 。 
同样 的 结构 ， 不 同 的 求 值 顺序 

回顾 过 去 两 天 ， 我 们 的 学 习 一 直 围 绕 着 同一 个 主题 一 -使 用 函数 式 编 
程 可 以 玩 转 程序 的 求 值 顺 序 。 如 有 果 两 个 计算 过 程 相互 独立 ， 束 可 以 任 
意 安 排 这 两 个 计算 过 程 的 求 值 顺 序 ， 包 括 让 它们 并 行 。 


下 面 的 代码 ， 均 进行 相同 的 计算 、 返 回 同样 的 结果 、 具 有 相似 的 代码 
结构 ， 但 它们 以 完全 不 同 的 顺序 进行 求 值 : 


(reduce + (map (partial * 2) (range 10000) )) 
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素 都 是 按 需 求 值 的 。 


(reduce + (doall (map (partial * 2) (range 10000)))) 


这 段 代 码 首先 构造 map 的 输出 序列 (doall 强迫 徊 惰 序列 对 全 部 元 素 
进行 求 值 ) ， 然 后 再 进行 化 简 。 


(reduce + (pmap (partial * 2) (range 10000) )) 


这 段 代 码 化 简 一 个 半 懒 惰 的 序列 ， 这 个 序列 是 并 行 求 值 的 。 


(reduce + (r/map (partial * 2) (range 10000))) 
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(partial * 2) 组 合 而 成 。 


(r/fold + (r/map (partial * 2) (into [] (range 10000)))) 


这 段 代码 首先 构造 range 的 输出 序列 ， 然 后 创建 进行 化 和 油 和 合并 的 处 
理 树 ， 并 根据 此 树 对 序列 进行 并 行 地 化 简 。 


在 Java 这 类 命令 式 语言 中 ， 求 值 顺序 与 源码 的 语句 顺序 紧密 相关 。 虽 然 
编译 器 和 运行 时 (runtime) 都 可 能 造成 一 些 乱 序 执行 (比如 我 们 在 讨 
论 线程 与 锁 时 一 直 在 留意 的 乱 序 执行 现象 ， 参 见 2.2 节 中 “诡异 的 内 
存 "部 分 ) ， 但 一 般 来 说 ， 求 值 顺序 与 其 在 代码 中 的 顺序 基本 一 致 。 


函数 式 语 言 则 更 有 一 种 声明 式 的 范 儿 。 画 数 式 程序 并 不 是 描述 “如 何 求 
值 以 得 到 结果 *， 而 是 接 述 “结果 应 当 十 什么 样 的 ”。 因 此 ， 在 函数 式 编 
程 中 ， 如 何 安排 求 值 顺序 来 获得 最 终结 果 是 相对 自由 的 ， 这 正 是 范 数 
式 代 码 可 以 轻松 并 行 的 关键 所 在 。 


下 一 市 我 们 将 学 习 为 什么 函数 式 编 程 可 以 玩 转 求 值 顺序 ， 而 命令 式 语 
言 却 不 具有 这 种 能 力 。 


引用 透明 性 


在 纯粹 的 范 数 式 语言 中 ， 画 数 都 具有 引用 透明 性 一 一 在 任何 调用 函数 
的 地 方 ， 痢 可 以 用 函数 运行 的 结 采 来 蔡 换 函数 的 调用 ， 而 不 会 对 程序 
产生 副作用 。 来 看 一 些 例子 : 


(+ 
1 (+ 


2 3)) 
它 与 下 面 的 代码 是 等 价 的 : 
(+ 

1 5) 


EX, fi ERIS BUT CU — Pe i ze NT ET 
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(+ (+ 1 2) (+ 3 4)): 


1 2) (+ 


3 4)) = (+ 
(+ 


1 2) 7) > (+ 


3 7) > 10 


也 可 以 是 下 面 的 求 值 顺序 : 


3 (+ 


3 4)) > (+ 


3 7) > 10 


当然 ， 这 个 结论 对 于 Java 的 + 操作 也 适用 。 与 Java 不 同 的 是 ， 芳 数 式 编 
程 的 每 个 函数 都 具有 引用 透明 性 。 这 也 是 我 们 能 安全 地 调整 函数 求 什 
顺序 的 关键 所 在 。 


小 乔 爱 问 : 
Clojure 不 是 不 纯粹 吗 ? 
下 一 章 我 们 将 学 习 到 Clojure 是 一 门 不 纯粹 的 函数 式 语 言 
Cg es teeta ean ere 这 样 的 画 数 不 具有 引用 透 
在 实践 中 这 并 不 会 造成 很 大 影响 ， 因 为 常见 的 Clojure 代 码 极 少 出 
现 副 作用 ， 并 且 出 现 副作用 时 会 非常 明显 。 有 一 些 规则 描述 了 副 
作用 在 何 处 出 现 是 安全 的 ， 只 要 遵循 这 些 规 则 就 不 大 可 能 遭 直 由 
求 值 顺序 带 来 的 问题 。 

数据 流 


我 们 来 思考 一 下 数据 是 如 何在 函数 间 流 动 的 。 图 3-4 示 意 的 是 (+ (+ 1 
2) (+ 3 4)) 的 数据 流 。 


Opl 


AA AE 
y 


图 3-4 (+ (+ 1 2) (+ 3 4)) 的 数据 流 


由 于 (+ 1 2) 和 (+ 3 4) 之 间 没 有 依赖 和 关系， 所 以 理论 上 这 两 步 求 
值 能 以 任何 顺序 进行 ， 包 括 同 时 执行 。 前 两 步 求 值得 到 结果 后 ， 最 后 
一 步 加 法 才能 进行 。 
理论 上 ， 运 行 时 可 以 从 这 幅 图 的 左 问 出 发 ， 同 右 端 “推进” 数据。 当 某 
函数 所 依赖 的 数据 都 可 用 时 ， 该 函数 束 可 以 执行 了 。 所 有 函数 (至 少 
是 理论 上 ) 都 可 以 同时 执行 。 这 种 执行 方式 被 称 为 数据 流 式 编程 
(dataflow programming) 。Clojure 提 供 了 future 模 型 和 promise 模 型 来 支 
持 这 种 执行 方式 。 


Future 模 型 


future 函数 可 以 接受 一 段 代 码 ， 并 在 一 个 单独 的 线程 中 执行 这 段 代 
码 。 其 返回 一 个 future 对 象 : 


user=> 


(def sum (future (+ 1 2 3 4 5))) 


#'user/sum 
user=> 


sum 


#<core$future_call$reify__6110@5d4ee7d0: 15> 


可 以 利用 deref 或 其 简写 @ 对 future 对 象 进行 解 引 用 ， 来 获取 其 代表 的 
值 : 


user=> 


(deref sum) 


对 future 对 象 进 行 解 引用 将 阻塞 当前 线程 ， 直 到 其 代表 的 值 变 得 可 用 
a es ° 现 在 我 们 可 以 准确 地 构造 出 图 3-4 所 示 的 数据 流 


user 


=> (let [a (future (+ 1 2)) 


#_=> b (future (+ 3 4))] 


#=> (+ @a @b)) 


这 段 代码 首先 用 let 将 (future (+ 1 2)) 赋 给 a ， 并 将 (future 
(+ 3 4)) 赋 给 b。 对 (+ 1 2) 和 (+ 3 4) 的 求 值 可 以 分 别 在 不 同 线 
程 中 进行 。 最 后 ， 外 层 的 加 法 将 一 直 阻 塞 ， 直 到 内 层 的 加 法 完成 。 


当然 ， 对 于 这 种 两 个 数 求 和 的 简单 计算 ， 使 用 future 模 型 是 大 材 小 用 
之 后 我 们 还 将 学 习 更 有 现实 意义 的 例子 。 不 过 还 是 先 来 了 解 一 下 
Clojure 的 promise 模 型 。 


Promise 模 型 


类 似 于 future 对 象 ，promise 对 象 也 是 异步 求 值 的 ， 也 通过 defer 或 @ 解 
引用 ， 在 求 值 前 也 会 阻塞 线程 。 不 同 的 是 创建 一 个 promise 对 象 后 ， 使 
用 promise 对 象 的 代码 并 不 会 立刻 执行 ， 而 是 等 到 用 deliver 为 
promise 对 象 赋值 后 才 会 执行 。 下 面 用 一 个 REPL 会 话 来 举例 : 


user=> 


(def meaning-of-life (promise) ) 


#'user/meaning-of-life 
user=> 


(future (printin "The meaning of life is:" @meaning-of -1life) ) 


#<core$future_call$reify__6110@224e59d9: :pending> 
user=> 


(deliver meaning-of-life 42) 


#<core$promise$reify_6153@52c9f3c7: 42> 
The meaning of life is: 42 


首先 ， 构 造 了 一 个 叫 meaning-of-1ife 的 promise 对 象 。 然 后 ， 用 
future 函数 创建 一 个 线程 来 打印 其 值 〈 像 这 样 利用 future 函数 创建 
线程 是 Clojure 的 惯例 ) 。 最 后 ， 用 deliver 为 promise 对 象 赋值 ， 之 前 
创建 的 线程 就 不 再 阻塞 了 。 


我 们 已 经 学 习 了 future 模 型 和 promise 模 型 ， 现 在 来 用 它们 创建 一 个 真实 
的 应 用 。 


画 数 式 Web 服 务 


我 们 将 创建 一 个 web 服务， 用 来 接收 实时 的 文本 数据 〈 例 如 ， 一 个 电视 
节目 的 脚本 ) ， 并 进行 翻译 。 文 本 数据 由 片段 (snippet) 构成 ， 片 段 
都 涡 有 序号 。 以 路 易 斯 :- 卡 罗 尔 的 诗作 Jabberwocky 〈 选 目 《 爱 丽 丝 镜 中 
奇遇 》) 的 第 一 节 为 例 ， 来 说 明 片 段 这 个 概念 : 


0 Twas brillig, and the slithy roves 
1 Did gyre and gimble in the wabe: 
2 All mimsy were the borogoves, 


3 And the mome raths outgrabe. 


如 采 要 将 斤 段 0 提 人 交 到 Web 服 务 ， 惑 要 构造 一 个 发 往 snippevo 的 PUT 请 
求 ， 其 内 容 是 “Twas brillig, and the slithy roves”。 片段 1 将 被 发 
{£/snippet/1 ， 以 此 类 推 。 


这 是 一 个 非常 简单 的 API， 然 而 实现 起 来 并 不 像 看 上 去 那么 简单 。 首 
先 ， 代 码 是 运行 在 一 个 并 发 的 web 服务 器 上 的 ， 这 束 要 求 代码 是 线程 安 
全 的 。 其 次 ， 由 于 网 络 的 特性 ， 代 码 需要 处 理 一 些 特 殊 情 况 ， 例 如 斤 
段 丢 失 、 重 试 、 重 复 提 交 和 乱 序 提交 。 

如 果 和 需要 按 序号 处 理 片段 (即刻 段 的 处 理 与 片段 到 达 服 务 句 的 时 间 先 
后 无 关 ) ， 就 必须 要 记 杂 哪些 片段 已 经 被 接收 、 哪 些 片段 已 经 被 处 
理 。 当 接收 到 新 的 片段 时 ， 需 要 检查 是 否 可 以 继续 处 理 片 段 。 这 个 任 
务 并 不 容易 ， 值 得 我 们 秀一 下 如 何 用 并 发 来 构造 一 个 简单 的 解决 方 


案 


图 3-5 展 示 了 解决 方案 。 


一 一 一 一 > 
PUT /snippet/3 处 理 片段 
处 理 片 段 2 
处 理 片段 3 
处 理 片 段 4 (等 待 ) 


PUT /snippet/5————> 


E 


图 3-5 文本 数据 处 理 流程 

图 3-5 的 左 端 是 web 服务 器 创建 的 线程 ， 用 来 处 理 输入 请 求 ; 右 端 是 

行 处 理 片 段 的 线程 ， 正 在 等 竺 下 一 个 可 用 片段 。 下 一 世 将 讨论 

Snippets 结构 ， 其 将 被 用 于 线程 之 间 的 交互 。 

接收 片段 

我 们 用 下 面 的 结构 来 记录 已 经 被 接收 的 片段 : 
FunctionalProgramming/TranscriptHandler/src/server/core.clj 


(def 


Snippets (repeatedly promise 


)) 


snippets 是 一 个 由 promise 对 象 构成 的 无 穷 懒 惰 序 列 。 当 某 个 片段 可 
用 时 ， 调 用 accept -snippet 来 为 对 应 的 promise 对 象 赋值 


FunctionalProgramming/TranscriptHandler/src/server/core.clj 


(defn 


accept-snippet [n text] 
(deliver 


(nth 


snippets n) text)) 


要 串 行 地 处 理 族 段 ， 只 需 创 建 一 个 线程 ， 按 序号 对 每 个 promise 对 象 进 
行 解 引 用 即 可 。 例 如 ， 下 面 的 代码 可 以 串 行 输出 每 个 厂 段 的 值 : 


FunctionalProgramming/TranscriptHandler/src/server/core.clj 


(future 


(doseq 


[Snippet (map deref 


snippets) ] 
(printin 


snippet ))) 


doseg 会 串 行 处 理 一 个 序列 。 本 例 中 ，dosed 处 理 的 序列 是 由 解 引 用 
后 的 promise 对 象 构 成 的 ，snippet 指向 正在 处 理 的 元 素 。 


剩 下 的 工作 束 是 将 所 有 这 些 组 装 成 一 个 Web 服 务 。 下 面 的 代码 利用 了 
Compojure 库 ” : 


7 https://github.com/weavejester/compojure 


FunctionalProgramming/TranscriptHandler/src/server/core.clj 


(defroutes app-routes 
(PUT "/snippet/:n 


" [n :as {:keys [body]}] 
(accept-snippet (edn/read-string n) (slurp 


body) ) 
(response "OK 


"))) 
(defn 


-main [& args] 
(run-jetty (site app-routes) {:port 3000})) 


这 上段 代码 定义 了 一 个 PUT 路 由 ， 其 将 调用 accept-snippet 函数 。 我 
们 使 用 了 内 置 的 Web 服 务 器 Jettys 一 一 与 大 多 数 Web 服 务 器 类 似 ，Jetty 
是 多 线程 的 ， 因 此 要 求 代 码 是 线程 安全 的 。 


8 http://www.eclipse.org/jetty/ 


现在 可 以 用 lein run 局 动 该 服务 融 ， 并 通过 curl1 命令 做 一 些 验 证 。 
比如 发 送 厂 段 0: 


$ 


curl -X put -d "Twas brillig, and the slithy toves" \ 


-H "Content-Type: text/plain" localhost :3000/snippet/0 


OK 


ARS as Eh: 


Twas brillig, and the slithy toves 


如 琳 在 发 送 片 段 1 之 前 发 送 片 段 >， 那 么 束 不 会 有 任何 输出 : 


$ 


curl -X put -d "All mimsy were the borogoves," \ 


-H "Content-Type: text/plain" localhost :3000/snippet/2 


OK 


RAAH BSL: 


Be 


curl -X put -d "Did gyre and gimble in the wabe:" \ 


-H "Content-Type: text/plain" localhost :3000/snippet/1 


OK 


现在 片段 1 和 片段 2 都 会 被 输出 : 


Did gyre and gimble in the wabe: 
All mimsy were the borogoves, 


多 次 发 送 同一 个 片段 是 没有 问题 的 ， 因 为 当 promise 对 象 已 经 被 赋值 
后 ， 再 次 调用 deliver 将 不 会 触发 任何 动作 。 所 以 下 面 的 命令 不 会 市 
来 任何 问题 ， 也 不 会 有 任何 输出 : 

$ 


curl -X put -d "Did gyre and gimble in the wabe:" \ 


-H "Content-Type: text/plain" localhost :3000/snippet/1 


OK 


至 此 ， 我 们 已 经 学 习 了 如 何 处 理 片段 ， 下 面 将 做 一 些 更 有 趣 的 竹 试 。 
设想 有 男 外 一 个 用 于 翻译 文本 的 Web 服 务 ， 来 修改 一 下 代码 ， 使 用 新 的 
Web 服 务 进行 文本 翻译 。 


句子 

在 学 习 如 何 调用 翻译 服务 之 前 ， 要 先 将 片段 的 序列 转换 成 句子 的 序 
列 。 人 句子 的 分 隔 符 可 能 出 现在 片段 的 任意 位 置 ， 所 以 需要 对 片段 进行 
分 割 或 合并 ， 以 解析 出 句子 。 


目 完 ， 按 照 句子 的 分 阳 符 进行 分 割 |: 


FunctionalProgramming/TranscriptHandler2/src/server/sentences. 
cj 


(defn 


sentence-split [text] 
(map 


trim (re-seq 


#" [AN,IN?:;]+[\. 1\?:;]*" text))) 


re-seq 接受 一 个 正则 表达 式 来 匹配 句子 ， 并 返回 匹配 的 序列 。 可 以 用 
trim 删除 不 必要 的 空格 : 


server .core=> 


(sentence-split "This is a sentence. Is this?! A fragment") 


("This is a sentence." "Is this?!" "A fragment") 


n 使 用 一 个 正则 表达 式 的 技巧 以 判断 某 字 符 串 是 不 是 一 个 完整 


FunctionalProgramming/TranscriptHandler2/src/server/sentences. 
cj 


(defn 


is-sentence? [text] 
(re-matches 


#"'A,*[\.!1\?:;]$" text) ) 

server.core 

=> (is-sentence? "This is a sentence.") 
" ` ` " 

This is a sentence. 

server.core 


=> (is-sentence? "A sentence doesn't end with a comma, ") 


最 后 ， 将 这 些 知识 点 组 装 在 一 起 ， 创 建 strings->sentences K 
数 。 该 函数 接受 一 个 字符 串 序 列 ， 并 返回 一 个 句子 序列 : 


FunctionalProgramming/TranscriptHandler2/src/server/sentences. 
clj 


(defn 


sentence-join [x y] 
(if 


(is-sentence? x) y (str 


x " " y))) 
(defn 


strings->sentences [strings] 
(filter 


is-sentence? 
(reductions 


sentence-join 
(mapcat 


sentence-split strings)))) 


这 里 用 到 了 reductions aX ° MEX, reductions KAS 
reduce 类 似 ， 唯 一 的 区 别 是 它 不 返回 单一 - 值 ， 而 是 返回 由 每 一 步骤 的 
中 间 值 构成 的 序列 : 


server .core=> 


(reduce + [1 2 3 4]) 


10 
server .core=> 


(reductions + [1 2 3 4]) 


(1 3 6 10) 


在 此 使 用 了 sentence- join (FAC AR ° 如 条 第 一 个 参数 是 
整 的 句子 ， 就 返回 第 二 个 参数 ; 否则 ， 就 返回 将 两 个 至 
连接 后 的 结果 : 


server .core=> 


(sentence-join "A complete sentence." "Start of another") 


"Start of another" 
server.core=> 


(sentence-join "This is" "a sentence.") 


"This is a sentence." 


Sreductions 合用 时 : 


server.core=> 

(def fragments ["A" "sentence." "And another." "Last" 
"sentence."]) 
#'server.core/fragments 


server .core=> 


(reductions sentence-join fragments) 


("A" "A sentence." "And another." "Last" "Last sentence.") 


用 is-sentense? 过 滤 结 


server .core=> 


(filter is-sentence? (reductions sentence-join fragments) ) 


("A sentence." "And another." "Last sentence.") 


这 样 就 得 到 了 句子 序列 ， 现 在 可 以 将 其 传 给 负责 翻译 的 服务 器 了 。 
翻译 句子 


使 用 future 模 型 的 一 个 典型 场景 是 与 其 他 服务 絮 之 间 的 通信 。future 模 型 
允许 主线 程 运行 时 ， 将 访问 网 络 之 类 的 操作 放 在 为 一 个 线程 上 进行 o 
下 面 是 translate 函数 ， 其 返回 一 个 future 对 象 ， 对 这 个 future 对 和 象 求 
值 将 获得 函数 参数 翻译 后 的 结 FR: 


FunctionalProgramming/TranscriptHandler2/src/server/core.clj 


(def 


translator "http://localhost:3001/translate 


=) 
(defn 


translate [text] 
(future 


(:body (client/post translator {:body text})))) 


这 上段 代码 用 到 了 dj-http 库 3 提供 的 函数 cLient/post ， 来 进行 POST 请 
求 并 获取 返回 。 现 在 可 以 使 用 translate 函数 ， 对 之 前 strings- 
>sentences 的 结果 进行 翻译 ， 其 结果 是 一 个 集合 。 

9 https://github.com/dakrone/clj-http 


FunctionalProgramming/TranscriptHandler2/src/server/core.clj 


(def 


translations 
(delay 
(map 
translate (strings->sentences (map deref 


snippets) )))) 


这 里 用 到 了 delay 函数 ， 其 创建 一 个 懒惰 的 值 一 一 在 被 解 引 用 前 不 会 
进行 求 值 。 


组 装 
下 面 是 文本 翻译 Web 服 务 的 完整 代码 : 


FunctionalProgramming/TranscriptHandler2/src/server/core.clj 


Line 1 (def 


snippets (repeatedly promise 


)) 
(def 
translator "http://localhost :3001/translate 
") 
5 (defn 
translate [text] 


- (future 


- (:body (client/post translator {:body text})))) 


- (def 


translations 
10 (delay 


: (map 
translate (strings->sentences (map deref 
snippets) )))) 

(defn 


accept-snippet [n text] 
- (deliver 


(nth 


snippets n) text)) 
15 
(defn 


get-translation [n] 
- @(nth 


@translations n)) 
- (defroutes app-routes 
20 (PUT "/snippet/:n" [n :as {:keys [body]}] 


(accept-snippet (edn/read-string n) (slurp 


body) ) 
- (response "OK" 


)) 
(GET "/translation/:n 


- (response (get-translation (edn/read-string n))))) 


- (defn 


-main [& args] 
(run-jetty (wrap-charset (api app-routes)) {:port 3000}) ) 


这 段 代码 中 添加 了 一 个 GET 入 口 ， 用 来 获取 翻译 的 结果 (第 23 行 ) ° 
其 中 使 用 了 get -translation WAX (第 16 行 ) ， 用 来 访问 
translations 序列 。 


现在 可 以 运行 一 下 我 们 的 成 果 了 。 首 先 启动 上 面 创建 的 服务 器 ， 然 后 
启动 本 书 配套 代码 中 的 翻译 服务 器 ， 最 后 运行 TranscriptTest 程序 
(同样 也 在 配套 代码 中 ) ， 现 在 你 应 当 能 看 到 诗歌 Jabberwocky 被 逐 句 


翻译 成 法 语 ; 


$ 


lein run 


Il brilgue, les tôves lubricilleux Se gyrent en vrillant dans le 
guave: 

Enmimés sont les gougebosqueux Et le mômerade horsgrave. 
Garde-toi du Jaseroque, mon fils! 

La gueule qui mord; la griffe qui prend! 


Garde-toi de l'oiseau Jube, évite Le frumieux Band-a-prend! 


«&. 1.” 


至 此 我 们 达成 了 目标 一 个 综合 运用 了 懒 懈 性 、future 模 型 、promise 
模型 的 完整 的 并 发 Web 服 务 嚣 。 其 中 没有 使 用 可 变 状态 ， 也 没有 使 用 
。 比 起 用 命令 式 语言 实现 的 等 价 解决 方案 ， 我 们 的 方案 更 简单 易 


2 
读 
小 乔 爱 问 : 
我 们 是 否 一 直 持 有 序列 的 头 元 素 ? 


上 面 的 web 服 务 使 用 了 两 个 懒惰 序列 : snippets 和 
translations 。 程 序 一 直 在 持 有 这 两 个 序列 的 头 元 素 (参见 3.2 
忆 中 “ 佑 惰 一 点 好 ?部 分 ) ， 因 此 这 两 个 序列 将 一 直 增 长 。 程 序 也 
将 占用 越 来 越 多 的 内 存 。 
下 一 章 我 们 将 学 习 如 何 用 Clojure 的 引用 类 型 来 解决 这 个 隐患 ， 并 
修改 Web 服 务 ， 让 其 可 以 处 理 多 个 文本 的 数据 。 
第 三 天 总 结 
我 们 结束 了 第 三 天 的 学 习 。 这 些 天 讨论 了 如 何 用 函数 式 编程 高 效 地 实 
现 并 行 和 并 发 。 
第 三 天 我 们 学 到 了 什么 
函数 式 编 程 中 的 函数 具有 引用 透明 性 。 利 用 这 个 特性 可 以 安全 地 对 画 
数 的 求 值 顺序 进行 调整 ， 而 不 会 影响 到 程序 的 运行 。 值 得 一 提 的 是 ， 
利用 这 个 特性 可 以 让 代码 在 其 所 依赖 的 数据 被 准备 好 时 才 可 运行 ， 这 
也 称 为 数据 流 式 编程 (Clojure 提 供 future 模 型 和 promise 模 型 对 其 进行 支 
持 ) 。 我 们 还 通过 一 个 例子 ， 用 数据 流 式 编程 简化 了 Web 服 务 的 实现 。 
第 三 天 自习 
查找 


。future 与 future-call 有 什么 区 别 ? 如 何 用 其 中 一 个 实现 另 一 
Aina 


。 如 何 鉴 别 一 个 future 对 象 被 求 值 时 是 否 进行 了 阻塞 ? 如 何 取 消 一 个 
future 对 象 ? 


实践 


。 修改 之 前 创建 的 文本 处 理 服 务 器 ， 人 处 理发 往 /translation/:n 的 GET 请 
ean , WNEIR, MeV 
5409 ° 


。 arose E SSUDCA MIRA aa ° Hn S KAA E 
洁 ? QUA RULE AEE EASA IF? 


3.5 复习 


VE AN HITET E — PMR KU FHT — 6 FE DE 
PE, MRA TT OMT, BBA BTA BE ORI — PT NU WY 8 


Lr RATAN a re aS AREF ° 


当然 ， 有 一 些 并 发 程序 一 定 会 带 有 不 确定 性 。 这 对 它们 来 说 是 不 可 避 
免 的 一 有 一 些 场景 天 生 就 依赖 于 时 序 。 但 这 并 不 意味 着 所 有 的 并 行 
程序 都 有 不 确定 性 。 例 如 ， 对 0 到 10 000 之 间 的 数 求 和 ， 即 使 将 串 行 加 
法 改 为 并 行 加 法 ， 也 不 会 改变 结果 ; 无 论 用 多 少 线程 对 某 个 Wikipedia 
dump 进 行 词 频 统 计 ， 其 结果 总 是 相同 的 。 


ERARIS DREIET P, KERER SRH NERT 
问题 本 喘 的 不 确定 性 ， 而 古 隐 藏 于 解决 方案 的 细 市 中 。 


函数 式 代码 具有 引用 透明 性 ， 因 此 可 以 随意 改变 其 执行 顺序 ， 而 不 会 
对 最 终结 果 产 生 影响 。 我 们 可 以 顺理成章 地 让 相互 独立 的 函数 并 行 执 
行 一 一 本 章 的 例子 也 利用 这 个 特性 轻易 地 将 函数 式 代 码 并 行 化 了 

小 乔 爱 问 : 

为 什么 没 看 到 单子 (Monad) 和 么 半 群 (Monoid) ? 

通常 介绍 函数 式 编 程 时 都 会 对 一 些 数学 概念 进行 前 述 ， 例 如 单 


子 、 么 半 群 、 范 畴 论 (Category theory) 。 我 们 用 了 一 整 章 来 介绍 
函数 式 编程 ， 却 没有 涉及 这 些 概念 。 为 什么 ? 


程序 员 对 编程 语言 的 偏好 很 大 程度 上 取决 于 语言 的 类 型 系统 。 使 
用 Java、Scala 之 类 的 静态 类 型 语言 的 体验 ， 与 使 用 Ruby ` Python 
之 类 的 动态 类 型 语言 的 体验 是 完全 不 同 的 。 


静态 类 型 语言 强迫 程序 员 在 早期 必须 选择 正确 的 类 型 。 只 有 付出 
这 样 的 代价 ， 编 译 匡 才能 确 你 运行 时 不 发 生 类 型 鱼 误 ， 并 且 类 型 
系统 可 以 优化 执行 效率 。 


动态 类 型 语言 不 强迫 程序 员 在 早期 付出 如 此 代价 ， 但 程序 员 要 承 
担 运行 时 发 生 类 型 错误 或 者 运行 效率 较 低 的 风险 。 


在 画 数 式 编程 的 范畴 也 同样 存在 这 种 分 歧 。 像 Haskell 这 各 静态 类 
型 的 画 数 式 语言 利用 单子 和 么 半 群 等 数学 概念 为 类 型 系统 增加 了 
以 下 能 力 :明确 限制 了 革 些 画 数 和 某 些 值 可 以 使 用 的 位 置 ， 在 保 
持 画 数 性 的 同时 可 以 检测 代码 的 副作用 。 


在 使 用 Clojure 时 ， 学 习 这 些 数学 概念 对 理解 理论 无 疑 非 常 有 帮 

助 ， 但 Clojure 使 用 的 不 是 静态 类 型 系统 ， 因 此 介绍 这 些 数学 概念 
的 实用 意义 不 大 。 男 一 方面 ， 由 于 编译 右 不 会 对 相关 的 错误 进行 
告警 ， 因 此 程序 员 必 须 手 工 确认 函数 和 值 的 使 用 场景 是 正确 的 ， 
这 无 疑 增加 了 程序 员 的 负担 。 


TR 


(EH ETA TE AT A oe BATT BY ete ITARA 
式 运行 的 。 一 旦 上 手 《这 可 能 需要 花 些 时 间 ， 如 果 你 对 命令 式 编程 < 中 
毒 " 已 深 则 更 是 如 此 ) ， 比 起 等 价 的 命令 式 程序 ， 画 数 式 程序 会 更 简 
单 ， 更 容易 推理 ， 也 更 便于 测试 。 


如 果 我 们 写 了 一 个 画 数 式 解决 方案 ， 利 用 画 数 式 程序 的 引用 透明 性 ， 
我 们 可 以 轻松 地 将 程序 并 行 化 ， 或 者 在 一 个 并 发 环境 下 使 用 该 方案 。 
由 于 画 数 式 代码 不 使 用 可 变 状态 ， 大 部 分 存在 于 线程 与 锁 模 型 中 的 并 
发 bug 将 销声匿迹 。 


BUR, 


IRE DWAR BES EES OTE M SS BCR BUR © OPP REE 
景 确实 存在 性 能 损失 ， 但 大 部 分 场景 性 能 损失 是 远 低 于 预期 的 。 而 且 


用 少许 性 能 损失 来 换取 程序 健壮 性 和 扩展 性 的 提升 是 值得 的 。 
其 他 语言 
近期 ，Java 8 添加 了 一 系列 新 特性 ， 使 用 这 些 特性 可 以 更 容易 地 写 出 画 


数 式 代码 ， 其 中 最 有 名 的 是 lambda 表 达 式 1 和 stream APIH ° stream 
API 支 持 聚 合 操作 ， 其 类 似 于 Clojure 的 reducer， 可 以 并 行 地 处 理 流 。 


10 http://docs.oracle.com/javase/tutorial/java/javaOO/lambdaexpressions.html 


1 http://docs.oracle.com/javase/tutorial/collections/streams/index.html 


所 有 的 函数 式 编 程 都 会 介绍 Haskell!? 。 本 章 和 之 后 的 章节 但 站 绍 的 所 有 
技术 在 Haskell 都 可 以 找到 。Simon Marlow 的 教程 是 5] Haskell #44 
编程 和 并 发 编程 的 绝 佳 选择 。 


12 http://haskell.org/ 


13 http://community.haskell.org/~simonmar/par-tutorial.pdf 


结语 


本 章 介 绍 了 函数 式 编 程 在 并 发 与 并 行 方面 的 诸多 优势 ， 然 而 其 优点 还 
远 不 止 于 此 。 可 以 断言 函数 式 编 程 在 未 来 会 变 得 更 重要 。 


前 面 已 经 提 人 到 过 ， 在 可 预见 的 将 来 ， 可 变 状态 会 一 直 伴 随 在 我 们 左 
右 。 下 一 章 我 们 将 学 习 Clojure 如 何 处 理 函 数 的 副作用 ， 同 时 又 不 牺牲 
对 并 发 的 文 持 。 


BAH Clojure 之 道 一 一 分 离 标识 
与 状态 


现代 的 混合 动力 客车 同时 拥有 内 燃 机 和 电动 机 的 优点 。 根 据 环境 不 
同 ， 有 了 时 只 使 用 汽油 ， 有 时 只 使 用 电力 ， 有 时 则 同时 使 用 两 者 。 与 之 
类 似 ，Clojure 也 提供 了 一 种 方法 ， 混 合 A T SS aE AM HT 3E 状态 
这 种 方法 平衡 了 两 痢 优 点 ， 成 为 并 发 编程 的 利 天 


4.1 混搭 的 力量 


函数 式 编程 对 于 某 些 问 题 是 非常 适用 的 ， 但 对 于 某 些 状态 易 变 的 问题 
则 不 然 。 IRE TA RRO aL 但 用 传统 的 思路 处 
理会 更 加 容易 一 些 。 上 一 章 中 介绍 了 Clojure 的 纯 函 数 子 集 ， TAH 
eee 学 习 如 何 用 Clojure 提 供 的 混搭 技术 来 解决 这 
问题 。 


第 一 天 ， 我 们 将 讨论 原子 变量 ， 蕊 是 Clojure 担 供 的 用 村 芥 发 的 可 变 SB 
据 类 型 。 我 们 也 将 学 习 如 何 使 用 原子 变量 和 持久 数据 结构 来 分 离 标 识 
与 状态 。 第 二 天 ， 学 习 Clojure 的 其 他 可 变 数据 结构 : 代理 和 软件 事务 
内 存 。 第 三 天 ， 将 分 别 用 原子 变量 和 STM 实现 一 个 算法 ， 并 讨论 两 种 
解决 方案 的 利 束 。 


4.2 lie 原子 变量 与 持久 数据 结构 


纯粹 的 EK 式 语言 完全 个 支持 可 变量 。 。 相 比 之 下 ， Clojure 是 不 纯粹 的 
其 景 提供 了 大 量 的 多 样 的 可 变量 。 通 过 使 用 可 变 

量 和 持久 数据 4 8 构 (我 们 稍 后 会 解释 持久 的 总 思 ) ， 可 以 避 开 传统 

发 程序 中 共享 可 变 状态 珊 来 的 诸多 问题 。 


1 -和 一 


企 此 将 mutable variables/data 译 为 "可 变量 ”"， 意 为 这 些 “ 量 ”在 整个 生命 周期 中 其 值 是 可 能 改变 
的 。 在 数学 领域 中 ， 应 称 其 为 ' 变量 ”。 但 “变量 ”一 词 在 编程 领域 中 指 的 是 “编译 期 结束 后 其 值 
可 能 改变 的 量 ”， 与 数学 领域 中 “整个 生命 周 其 ' 其 值 是 可 能 改变 的 量 " 有 少许 差异 ， 为 避免 混 
消 ， 将 其 译 为 “可 变量 ”。 同 样 的 差异 也 存在 于 “常量 ”( 编 半期 束 能 确定 其 值 不 改变 的 量 
和 “不 变 ai (整个 生命 周期 中 其 值 不 改变 的 量 ) 。 另外， 在 此 将 variabl2 和 duta 统 称 : JE”, 
是 为 了 简化 相关 的 概念 ， 不 会 影响 之 后 的 阅读 。 一 一 译 者 注 


EEE BERE SV SA E 数 式 语言 与 命令 式 语言 的 区 别 。 在 命令 式 

语言 中 ， 变 量 默 认 都 古 状态 易 变 的 ， 代 码 会 经 第 修改 变量 。 而 在 不 纯 

S 变量 默认 是 状态 不 易 变 的 ， 代 码 仅 在 十 分 必要 时 

。 稍 后 我 们 会 学 习 到 : 使 用 Clojure 的 可 变量 ， 可 以 在 保证 
全 性 和 数据 一 致 性 的 同时 ， 处 理 好 可 变 状 仿 市 来 的 副作用 。 


a 


今天 我 们 要 学 习 如 何 使 用 可 变量 和 持久 数据 结构 来 分 离 标识 与 状态 。 
采用 这 些 技术 ， 多 线程 可 以 不 使 用 锁 (当然 也 就 不 会 有 死 锁 的 风险 ) 
访问 可 变量 ， 同 时 也 不 会 磁 到 3.2 节 中 介绍 的 风险 《隐藏 可 变 状 态 和 逃 
P 。 移 来 看 看 Clojure 提 供 的 最 简单 的 可 变量 类 型 一 一 原子 


原子 变量 


原子 变量 就 是 具有 原子 性 的 变量 ， 非 常 类 似 于 2.3 节 中 介绍 的 原子 变量 

(事实 上 Clojure 的 原子 变量 就 是 在 
java.util.concurrent.atomic 的 基础 上 建立 的 ) 。 下 面 的 例子 
用 于 创建 原子 变量 并 获取 其 值 : 


user=> 


(def my-atom (atom 42) ) 


#'user/my-atom 
user=> 


(deref my-atom) 
42 
user=> 


@my -atom 


42 


使 用 atom 函数 可 以 创建 原子 变量 ， 其 参数 是 原子 变量 的 初始 值 。 通 过 
defer 或 @ 可 以 获得 原子 变量 的 值 。 


使 用 swap ! 可 以 更 新 原子 变量 的 值 : 


user=> 


(swap! my-atom inc) 


43 
user=> 


@my-atom 


43 


swap! 接受 一 个 芳 数 ， 并 将 原子 变量 的 当前 值 传 给 该 钞 数 ， 该 函数 的 
eas mS TEL ° Peay rena: ue 例 
I]: 


user=> 


(swap! my-atom + 2) 


45 


传 给 函数 的 第 一 个 参数 是 原子 变量 的 当前 值 ， 如 果 swap! 有 和 额外 参 
数 ， 则 会 依次 传 给 该 画 数 。 本 例 中 ， 原 子 变 量 的 新 值 定 (+ 43 2) ° 


一 个 不 太 第 用 的 函数 是 reset! ， 可 以 用 来 重 置 原子 变量 的 值 ， 无 论 原 
子 变量 是 什么 值 : 
(reset! my-atom 0) 


@my-atom 


0 


原子 变量 可 以 是 任何 类 型 一 一 很 多 Web 应 用 都 是 用 原子 map 来 存储 会 话 
数据 的 ， 例 如 : 


user=> 


(def session (atom {})) 


#'user/session 
user=> 


(swap! session assoc :username "paul") 


{:username "paul"} 
user=> 


(swap! session assoc :session-id 1234) 


{:session-id 1234, :username "paul"} 


我 们 已 经 通过 REPL 了 人 解 了 原子 变量 的 一 些 特性 ， 现 在 来 看 一 个 实际 应 
用 的 例子 。 


具有 可 变 状态 的 多 线程 Web 服 务 


3.2 节 讨论 了 一 个 假想 的 用 于 管理 比赛 的 Web 服 务 。 这 一 节 我 们 会 完整 


实现 这 个 web 服务， 并 学 习 如 何 使 用 Clojure 的 持久 数据 结构 来 避免 Java 
中 逃 速 可 变 状 态 的 风险 。 


Clojure/TournamentServer/src/server/core.clj 


Line 1 (def 


players (atom 
())) 
: (defn 
list-players [] 
(response (json/encode @players))) 
i (defn 


create-player [player-name] 
(swap 


! players conj 


player -name ) 
- (status (response "") 201)) 


10 (defroutes app-routes 
(GET "/players 


" [] (list-players) ) 
- (PUT "/players/:player-name 


" [player-name] (create-player player-name) ) ) 
- (defn 


-main [& args] 
(run-jetty (site app-routes) {:port 3000})) 


这 段 代 码 定义 了 两 个 路 由 -发 往 /players 的 GET 请 求 会 返回 当前 
的 运动 员 列 表 (JSON 格 式 ) , ZE/players/name 的 PUT 请 求 则 会 
添加 一 个 运动 员 。 与 上 一 章 的 Web 服 务 一 样 由 于 使 用 的 Jetty 服 务 器 是 
多 线程 的 ， 因 此 需要 保证 代码 是 线程 安全 的 。 


在 讨论 这 段 代码 的 工作 原理 之 前 ， 先 来 直接 感受 一 下 。 可 以 在 命令 行 
中 调用 cur1l 进行 测试 : 


$ 


curl localhost :3000/players 


[] 
$ 


curl -X put localhost :3000/players/john 


$ 


curl localhost:3000/players 
["john"] 
$ 


curl -X put localhost :3000/players/paul 


$ 


curl -X put localhost :3000/players/george 


$ 


curl -X put localhost :3000/players/ringo 


$ 


curl localhost:3000/players 


["ringo", "george", "paul", "john"] 


现在 来 看 看 core. | 原子 变量 players (第 1 行 ) 被 初始 
化 成 空 列表 ( ) 。 通 过 conj 可 以 添加 新 的 运动 员 〈 第 7 行 ) ， 并 返回 
HTTP 状 态 201 《表示 已 创建 ) 的 空 响应 。 通 过 @ 获取 players AVE, 
并 以 JSON 形 式 返 回 运 动员 列表 〈 第 4 行 ) 。 


切 看 上 去 很 简单 (实际 上 也 确实 如 此 ) ,但 有 一 件 事情 困扰 着 我 
们 。1List-players 和 create-player 了 画 数 都 访问 players 一 一 
为 什么 这 段 代 码 不 会 有 之 前 逃逸 可 变 状 态 的 问题 ? 如 果 一 个 线程 正在 
遍历 players 并 将 其 转换 为 JSON 格 式 ， 而 另 一 个 线程 同时 向 
players 中 添加 元 素 ， 那 么 会 发 生 什么 ? 


Clojure 的 数据 结构 是 持久 的， 因此 这 段 代码 才 是 线程 安全 的 。 
持久 数据 结构 
我 们 这 里 说 的 "持久 ”并 不 十指 料 数 据 持 人 化 到 倍 盘 或 者 你 仓 到 数据 座 


中 ， 而 是 指数 据 结构 被 修改 时 总 是 保留 其 之 前 的 版 本 ， 这 样 可 以 为 代 
码 提供 一 致 的 数据 视角 。 来 用 REPL 看 一 个 简单 的 例子 : 


user=> 


(def mapvi {:name "paul" :age 45}) 


#'user/mapv1i 
user=> 


(def mapv2 (assoc mapv1 :sex :male)) 


#'user/mapv2 
user=> 


mapv1 
:age 45, :name "paul" 
g p 
user=> 


mapv2 


{:age 45, :name "paul", :sex :male} 


持久 数据 结构 被 修改 时 看 上 去 就 像 创 建 了 一 个 完整 的 副本 。 如 果 持 入 
数据 结构 在 实现 时 也 创建 完整 副本 ， 那 将 非常 低 效 并 且 使 用 限制 很 大 
(可 以 类 比 2.4 节 介绍 过 的 CopyOnwriteArrayList ) 。 幸 运 的 是 ， 
持久 数据 结构 的 实现 选择 了 更 精巧 的 方法 ， 其 中 使 用 了 共享 结构 。 


最 容易 理解 的 持久 数据 结构 吏 是 列表 。 来 看 一 个 傈 单 的 例 于 : 


user=> 


(def listvi (list 1 2 3)) 


#'user/listv1 
user=> listv1 


(1 2 3) 


图 4.1 展 示 了 上 壕 列 表 在 内 存 中 的 表现 形式 。 


图 4-1 listvi 在 内 存 中 的 表现 形式 


现在 用 cons 创建 上 述 列 表 的 修改 版 ，cons 返回 列表 的 副本 并 在 副本 
AE BC EAST ICH: 

(def listv2 (cons 4 listv1) ) 
#'user/listv2 


listv2 


(4 1 2 3) 


新 列表 可 以 完全 共 至 原 列 表 的 结构 一 一 不 需要 进行 复制 ， 如 图 4-2 所 
JIN ° 
4 


图 4-2 listv2 在 内 存 中 的 表现 形式 
再 尝试 创建 另 一 个 改进 版 ， 如 图 4-3 所 示 。 


user=> 


(def listv3 (cons 5 (rest listv1))) 


#'user/listv3 
user=> 


listv3 
(5 2 3) 


_ ot 


图 4-3 listv3 在 内 存 中 的 表现 形式 
本 例 中 新 列表 仅 共 享 了 原 列表 的 部 分 结构 ， 但 仍 不 需要 进行 复制 。 


有 些 情况 下 是 不 能 避免 复制 的 。 有 共同 尾 端的 列表 可 以 共有 
如 朱 两 个 列表 具有 不 同 的 尾 问 ， 束 只 能 进行 复制 了 。 举例 说 明 : 


user=> 


(def listv1 (list 1 2 3 4)) 
#'user/listv1 
user=> 

(def listv2 (take 2 listv1)) 
#'user/listv2 
user=> 


listv2 


(1 2) 


图 4-4 展 示 了 其 在 内 存 中 的 形式 


EEF HE 


图 4-4 具有 不 同 尾 端 的 两 个 列表 在 内 存 中 的 表现 形式 


Clojure 的 集合 都 是 持久 的 。 持 久 的 vector、map 和 set 在 实现 上 都 比 列表 
复杂 ， 但 此 处 我 们 仅 需 知 道 它 们 都 使 用 了 共享 结构 ， 并 且 与 Ruby 和 
Java 中 对 应 的 非 持 久 结 构 具 有 相近 的 性 能 。 


小 乔 爱 问 : 

非 函 数 式 语言 中 数据 结构 可 以 是 持久 的 吗 ? 

在 非 函 数 式 语言 中 是 有 可 能 创建 持久 数据 结构 的 。 我 们 已 经 在 Java 
中 看 到 过 一 个 例子 (CopyOnwriteArrayList ) ， 而 且 Clojure 

的 核心 数据 结构 大 部 分 都 是 由 Java 写 成 的 。 而 Java 被 创造 出 来 时 还 
ae” Ar ARA Tints Ee Ais BS DE BE A AE 


=v 


一 


很 难保 证 其 正确 MA SE ARR S T 能 为 你 
提供 任何 辅助 ， 完 全 要 依靠 目 己 实现 持久 化 。 


相 比 之 下 ， 画 数 式 的 数据 结构 天 生 就 是 持久 的 。 
标识 与 状态 


如 琳 一 个 线程 引用 了 持久 数据 结构 ， 那 么 其 他 线程 对 数据 结构 的 修改 
对 该 线程 束 是 不 可 见 的 。 因 此 持久 数据 结构 对 并 发 编程 的 意义 非 比 寻 
常 ， 其 分 离 了 标识 (identity) 与 状态 (state) 。 


你 的 汽车 有 多 少 油 ? 现在 这 一 刻 可 能 有 一 半 油 。 一 段 时 间 以 后 油箱 可 
能 几乎 空 了 ， 再 过 儿 分 钟 ( 当 你 加 完 油 后 ) 油箱 就 满 了 。“ 你 的 汽车 有 
多 少 油 ”是 一 个 标识 ， 其 状态 是 一 直 在 改变 的 ， 也 就 是 说 ， 实 际 上 它 是 
一 系列 不 同 的 值 一 2012-02-23 12:03， 值 是 0.53; 2012-02-23 14:30, 
值 是 0.12; 2012-02-23 14:31， 值 是 1.00 ° 


命令 式 语言 中 ， 一 个 变量 混合 了 标识 与 状态 一 一 一 个 标识 只 能 拥有 一 

个 值 ， 这 让 我 们 很 容易 忽略 一 个 事实 ， 状态 实际 上 有 古 随时 间 变 化 的 一 

系列 值 。 择 久 数据 结构 将 标识 与 状态 分 离开 来 一 一 如 采 获 取 了 一 个 标 

无 论 将 来 对 这 个 标识 怎样 修改 ， 获 取 的 那个 状态 将 不 
改变 。 


DL TEAR (Heraclitus) 是 这 样 描述 这 个 现象 的 : 
我 们 不 能 两 次 踏 入 同一 条 河流 ， 因 为 水 在 不 停 地 流动 。 
许多 编程 语言 都 错误 地 认为 河流 和 是 不 变 的 实体 ， 而 Clojure 则 认为 河流 
是 一 直 在 改变 的 。 
重 试 


由 于 Clojure 是 函数 式 语言 ， 其 原子 变量 是 无 锁 的 一 一 其 内 部 实现 使 用 
J java.util.concurrent.AtomicReference 包 提 供 的 
compareAndSet() 方法 。 因 此 使 用 原子 变量 的 效率 很 高 且 不 会 发 生 
阻塞 (当然 也 不 会 有 死 锁 的 风险 ; 。 但 这 也 要 求 swap ! 必须 处 理 下 面 
这 种 情况 : 4swap! 调用 其 参数 函数 〈 即 由 参数 传 入 的 函数 ) 产生 新 
值 、 但 还 未 修改 原子 变量 的 值 时 ， 其 他 线程 就 修改 了 原子 变量 的 值 。 


如 果 发 生 了 这 种 情况 ，swap! 就 需要 重 试 (retry) ° swap! 将 放弃 从 
参数 函数 中 返回 的 值 ， 并 用 原子 变量 的 新 值 重 新 调用 参数 函数 。 我 们 


在 2.4 节 中 介绍 concurrentHashMap 时 见 过 类 似 的 机 制 。 这 要 求 
swap! 的 参数 函数 必须 没有 副作用 一 一 人 否则， 在 重 试 时 这 些 副 作用 可 
能 会 发 生 多 次 。 


幸运 的 是 ， 凡 数 式 代码 天 生 是 没有 副作用 的 。Clojure 的 孙 数 式 天 性 让 
我 们 避免 了 这 个 麻烦 。 


假设 我 们 需要 一 个 非 负 值 的 原子 变量 。 在 创建 原子 变量 时 可 以 提供 一 
个 校 验 器 (validator) : 


user=> 


(def non-negative (atom 0 :validator #(>= % 0))) 


#'user/non-negative 
user=> 


(reset! non-negative 42) 


(reset! non-negative -1) 


IllegalStateException Invalid reference state 


Kame NAA, SAA PEN AT o WOR BAST a 
返回 true ， 束 允许 这 次 修改 ， 否 则 束 放 弃 这 次 修改 。 


Boia ta T A OS ee (ECR EIB 被 调用 。 与 本 节 “ 重 试 ? 部 分 中 传 
swap! 的 参数 函数 类 似 ， 当 swap! 进行 重 试 时 ， 校 验 器 可 能 会 被 调 

用 多 次 °。 因此 校 验 器 不 应 有 副作用 。 

监视 器 

可 以 为 原子 变量 添加 一 个 监视 器 : 


user=> 
(def a (atom 0)) 
#'user/a 
user=> 
(add-watch a :print #(println "Changed from " %3 " to " %4)) 
#<Atom@542ab4b1: 0> 
user=> 


(swap! a + 2) 


Changed from 0 to 2 
2 


添加 监视 器 时 需要 提供 一 个 键 值 和 一 个 监视 函数 。 键 值 用 于 区 分 不 同 
的 监视 器 (例如 ， 有 多 个 监视 器 时 ， 可 以 通过 键 值 来 删除 一 个 指定 的 
监视 器 ) 。 原子 变量 的 值 被 改变 时 会 调用 监视 项。 监视 器 接受 四 个 参 
数 一 一 调用 add-watch 时 指定 的 键 值 、 原 子 变 量 的 引用 、 原 子 变 量 的 
旧 值 和 原子 变量 的 新 值 。 


上 例 中 再 次 使 用 了 读 取 器 宏 #( . ,, ) 来 定义 匿名 函数 ， 该 画 数 用 于 打印 
原子 变量 的 旧 值 (%3 ) 和 新 值 (%4 ) 


与 校 验 器 不 同 ， 监 视 器 是 在 原子 变量 的 值 改变 之 后 才 被 调用 ， 且 无 论 
swap! Hine, Wa Remi Alt, tiara Lae 
副作用 。 注 意 : 监视 器 被 调用 时 ， 原 子 变量 的 值 可 能 已 经 再 次 被 改 
变 ， 因 此 监视 器 必须 使 用 参数 中 提供 的 新 值 ， 而 不 能 通过 对 原子 变量 
进行 解 引 用 来 获取 新 值 。 


混搭 式 Web 服 务 


在 3.4 市 中 ， 我 们 用 Clojure 创 建 了 纯粹 函数 式 的 Web 服 务 。 尽 管 它 运行 

民 好 ， 却 存在 两 个 明显 的 限制 一 一 仅 能 处 理 一 个 文本 数据 ， 并 且 会 持 

aaa o ERRIZ TE PR Ea RAR EURASIA, RX 
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会 话 管理 


我 们 将 引入 会 话 (session) 这 个 概念 ， 使 web 服务 支持 多 个 文本 数 
据 。 每 个 会 话 拥有 一 个 唯一 的 数字 标识 ， 通 过 下 面 的 代码 可 生成 这 个 


标识 : 


Clojure/TranscriptHandler/src/server/session.clj 


(def 


last-session-id (atom 


0)) 
(defn 


next-session-id [] 
(swap! last-session-id inc) ) 


这 里 会 用 到 原子 变量 last-session-id ， 创 建新 会 话 标识 时 会 将 原 
子 变量 的 值 递 增 。 每 次 调用 next-session-id 都 会 得 到 比 之 前 大 1 的 
—/ME: 


server .core=> 

(in-ns 'server.session) 
#<Namespace server .session> 
server.session=> 

(next -session-id) 
1 
server.session=> 

(next -session-id) 


2 
server, Ssession=> 


(next -session-id) 


还 用 到 了 原子 变量 sessions ， 它 是 将 会 话 标识 映射 到 会 话 的 map， 利 
用 sessions 可 以 追踪 当前 活跃 的 会 话 。 
(def 
sessions (atom 
{})) 
(defn 


new-session [initial] 
(let 


[session-id (next-session-id) ] 
(swap! 


sessions assoc 


session-id initial) 
session-id) ) 


(defn 


get-session [id] 
(@sessions id)) 


通过 调用 new-session 并 传 入 一 个 初始 值 ， 可 以 创建 一 个 新 的 会 话 。 
new-session 将 获取 一 个 新 的 会 话 标识 ， 并 调用 swap1! 将 会 话 添加 

到 sessions 中 。 用 get-session 获取 会 话 的 过 程 就 是 简单 地 用 会 

话 标识 进行 查找 。 


会 话 过 其 


如 果 要 解决 Web 服 务 持续 消耗 内 存 的 问题 ， 束 需要 一 种 机 制 来 删除 不 再 
使 用 的 会 话 。 虽 然 可 以 显 式 地 进行 删除 (比如 使 用 一 个 delete- 
session WRU) ， 但 对 于 一 个 web 服 务 来 说 ， 不 能 依赖 于 客户 端 清理 
而 是 需要 实现 会 话 过 期 的 机 制 。 先 对 之 前 的 代码 做 一 个 
小 改动 : 


Clojure/TranscriptHandler/src/server/session.clj 


(def 


sessions (atom 
{})) 
> (defn 


now [] 
> (System/currentTimeMillis) ) 


(defn 


new-session [initial] 
(let 


[session-id (next-session-id) 
> session (assoc 


initial :last-referenced (atom 


(now) ) )] 


(swap! 
sessions assoc 


session-id session) 
session-id) ) 


(defn 


get-session [id] 
(let 


[session (@sessions id) ] 
> (reset! 


(:last-referenced session) (now) ) 
session) ) 


TA SHB EN Ainow 会 返回 当前 时 间 。 用 new- session 创建 新 会 话 

上 时， 需要 为 会 话 添加 新 届 性 :last-referenced ， 这 是 含有 当前 时 间 
的 原子 变量 。 当 调用 get-session 访问 会 话 时 ， 用 reset! 来 更 新 这 
AS ENT TE] EK 。 


现在 每 个 会 话 都 有 :last-referenced 属性 。 程 序 会 定期 检查 所 有 的 
会 话 ， 当 某 会 话 超过 一 定时 间 没 有 被 访问 时 ， 就 可 以 让 该 会 话 过 期 : 


Clojure/TranscriptHandler/src/server/session.clj 


(defn 


session-expiry-time [] 
(- (now) (* 10 60 1000))) 
(defn 


expired? [session] 
(< @(:last-referenced session) (session-expiry-time) ) ) 


(defn 


sweep-sessions [] 
(swap! 


sessions #(remove-vals % expired?) )) 
(def 


session- sweeper 
(schedule {:min (range 


© 60 5)} sweep-sessions) ) 


fEsession-sweeper Hac, {EH T Schejulure/¥? ， 这 段 代码 让 程 
序 每 5 分 钟 调用 一 次 sweep-sessions 。sweep-sessions 会 (使 用 
Useful 库 3 提供 的 remove -vals 函数 ) 删除 expired? 为 true 的 会 

话 ， 这 些 会 话 最 后 一 次 被 访问 是 在 session-expiry-time Æ% (BH 
10 分 钟 ) 之 前 。 


A https://github.com/AdamClements/schejulure 
3 https://github.com/flatland/useful 
组 装 


现在 可 以 将 会 话 这 个 功能 添加 到 之 前 的 Web 服 务 中 。 首 先 ， 和 需要 一 个 创 
建新 会 话 的 函数 : 


Clojure/TranscriptHandler/src/server/core.clj 


(defn 


create-session [] 
(let 


[Snippets (repeatedly promise 


) 


translations (delay 
(map 


translate 
(strings->sentences (map deref 


snippets) )))] 
(new-session {:Snippets snippets :translations translations}))) 


与 上 一 章 相似 ， 我 们 仍然 使 用 一 个 无 穷 的 懒惰 的 promise 序 列 
(snippets ) 来 表示 接收 到 的 片段 ， 以 及 一 个 map 
(translations ) 来 表示 该 序列 到 翻译 结果 的 映射 ， 但 这 次 将 两 个 

变量 都 保存 到 了 会 话 中 。 


接 下 来 ， 修 改 accept-snippet 和 get-translation WW, (FH 
从 会 话 中 得 到 :snippets M:translations : 


Clojure/TranscriptHandler/src/server/core.clj 


(defn 


accept-snippet [session n text] 
(deliver 


(nth 
(:Ssnippets session) n) text)) 
(defn 


get-translation [session n] 
@(nth 


@(:translations session) n)) 


最 后 ， 需 要 为 路 由 添加 会 话 功能 


Clojure/TranscriptHandler/src/server/core.clj 


(defroutes app-routes 
(POST "/session/create" [] 


(response (str 
(create-session) ))) 
(context "/session 
/:session 


-id" [session-id] 
(let 


[session (get-session (edn/read-string session-id) ) ] 


(routes 
(PUT "/snippet/:n 


" [n :as {:keys [body]}] 
(accept-snippet session (edn/read-string n) (slurp 


body) ) 
(response "OK 


")) 
(GET "/translation/:n 


" [n] 


(response (get-translation session (edn/read-string 


n)))))))) 


FH, Bta T oreWeblkss, BERERA, HEERE 
用 了 可 变 状 态 。 


第 一 天 总 结 


我 们 结束 了 第 一 天 的 学 习 。 第 二 天 将 学 习 男 一 些 可 变数 据 类 型 一 一 代 
理 (agent) 和 引用 (ref) 。 


第 一 天 我 们 学 到 了 什么 


Clojure 是 一 | ] 不 纯粹 的 芳 数 式 语言 ， 提 供 了 大 量 的 可 变数 据 类 型 。 我 
们 已 经 学 习 了 其 中 最 简单 的 一 种 一 一 原子 变量 。 


。 命令 式 语言 和 不 纯粹 的 函数 式 语言 的 区 别 是 今天 的 一 个 重点 。 


令 式 语言 中 ， 变 量 默 认 是 状态 易 变 的 ， 代 码 会 经 党 修改 变 


fi => 


o 不 纯粹 的 函数 式 语言 中 ， 变 量 默认 是 状态 不 易 变 的 ， 代 码 仅 
在 必要 时 修改 变量 。 


。 KARAAT, ARRERA, EE ha RIENE 
时 ， 将 不 会 影响 到 引用 同一 个 数据 结构 的 其 他 线程 。 


。 借助 上 述 特性 ， 我 们 可 以 分 离 标 识 与 状态 。 与 标识 不 同 ， 状 态 实 
际 上 是 一 系列 随时 间 变 化 的 值 。 


第 一 天 上 自习 
查找 


。 阅读 Karl Krukow 的 博文 “Understanding Clojure's PersistentVector 
Implementation”， 了 解 比 链表 更 复杂 的 持久 数据 结构 是 如 何 实现 
A) ° 


。 阅读 上 一 篇 博文 的 后 续 文 章 ， 了 解 PersistentHashMap 是 如 何 
通过 Hash Array Mapped Trie 技 术 来 实现 的 。 


实践 
。 扩 展 本 节 开头 的 例子 TournamentServer ， 使 其 可 以 添加 和 删除 
运动 员 。 


。 扩 展 “ 混 搭 式 Web 服 务 ” 中 的 例子 TranscriptServer ， 当 一 个 片 
ARREN 让 服务 器 能 从 这 个 状态 中 恢复 过 
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我 们 昨天 学 习 了 原子 变量 ， 今 天 来 学 习 其 他 两 种 可 变数 据 类 型 : 代理 
(agent) 和 引用 (ref) 。 与 原子 变量 性 质 相 同 ， 代 理 和 引用 都 可 以 用 
于 并 发 ， 也 能 与 持久 数据 结构 一 起 使 用 ， 实 现 标 识 与 状态 的 分 离 。 在 


学 习 引 用 时 ， 我 们 将 讨论 Clojure 如 何 实现 对 软件 事务 内 存 的 文 择 ， 使 
变量 在 无 锁 的 情况 下 可 以 家 并 行 地 修改 ， 同 时 仍 保持 一 致 性 。 


代理 


与 原子 变量 类 似 ， 代 理 包含 了 对 一 个 值 的 引用 ， 可 以 通过 deref 或 @ 
获取 该 值 : 


user=> 


(def my-agent (agent 0)) 


#'user/my-agent 
user=> 


@my - agent 


调用 send 函数 可 以 修改 代理 的 值 : 


user=> 


(send my-agent inc) 
#<Agent@2cadd45e: 1> 
user=> 

@my - agent 
1 
user=> 

(send my-agent + 2) 
#<Agent@2cadd45e: 1> 
user=> 


@my - agent 


Sswap! 类 似 ，send 接受 一 个 函数 〈 可 以 附加 额外 的 参数 ) ， 并 用 


当前 值 作为 参数 对 该 函数 进行 调用 ， 函 数 的 返回 值 将 作为 代理 


send J alee wae Feet eg 立刻 返回 
多 个 线程 同时 
isend, 传 给 ae a 同一 -时 间 只 ! 会 调用 一 
个 。 也 就 是 说 该 函数 不 会 进行 重 试 ， 并 且 可 以 具有 副作用 。 


小 乔 爱 问 : 
代理 是 actor 吗 ? 


表面 看 上 去 Clojure 的 代理 和 actor 〈 将 在 第 5 章 介 绍 ) 非常 相似 。 但 
这 是 一 种 误解 ， 实 际 上 两 者 有 很 大 差异 : 


通过 deref 可 以 获得 代理 的 值 ， 而 actor 没 有 提供 直接 获得 值 
的 方式 ; 


actor 可 以 包含 行为 (behavior) ， 而 代理 则 不 可 以 一 一 对 数据 
的 操作 函数 必须 由 调用 者 捉 供 ; 


actor 提 供 了 复杂 的 错误 检测 和 错误 恢复 的 机 制 ， 而 代理 仅 提 
供 了 人 简单 的 错误 报告 机 制 ; 


actor 能 文 持 分 布 式 ， 而 代理 则 不 能 
。 使 用 多 个 actor 可 能 会 引发 死 锁 ， 而 使 用 多 个 代理 则 不 会 。 
等 待 代 理 的 操作 完成 


之 前 我 们 在 REPL 的 输出 中 看 到 ，send 的 返回 值 是 一 个 代理 的 引用 。 
REPL 打 印 这 个 引用 时 ， 也 打印 了 代理 的 值 一 一 本 例 中 是 1: 


user=> 
(send my-agent inc) 


#<Agent@2cadd45e: 1> 


再 次 调用 send 时 ， 其 显示 的 不 是 3， 而 仍然 是 1: 


user=> 


(send my-agent + 2) 


#<Agent@2cadd45e: 1> 


这 是 因为 传 给 send MARCEL ISTH, FZEREPLIX AEE Z 
前 ， 该 函数 可 能 已 经 运行 ， 也 可 能 没有 运行 。 对 于 执行 比较 快 的 辑 
数 ， 在 REPL 获 得 代理 的 值 之 前 可 能 已 经 运行 了 ; 但 如 来 我 们 用 
Thread/sleep 来 延长 芳 数 的 运行 时 间 ， 那 钞 数 束 不 大 可 能 在 REPL 
获取 代理 的 值 之 前 完成 运行 : 


user=> 

(def my-agent (agent 0)) 
#'user/my-agent 
user=> 

(send my-agent #((Thread/sleep 2000) (inc %))) 
#<Agent@224e59d9: 0> 
user=> 

@my - agent 


0 
user=> 


@my - agent 


Clojure 提 供 了 await 了 芳 数 ， 这 个 函数 将 一 直 阻 塞 ， 直 到 由 当前 线程 派 
给 某 个 (BREE) 代理 的 所 有 操作 全 部 完成 (Clojure 还 提供 了 await- 
for 函数 ， 可 以 指定 等 待 的 超时 时 间 ) : 

user=> 

(def my-agent (agent 0)) 


#'user/my-agent 
user=> 


(send my-agent #((Thread/sleep 2000) (inc %))) 


#<Agent@7f5ff9d0: 0> 
user=> 


(await my-agent) 
nil 
user=> 

@my - agent 
1 

小 乔 爱问 


Send-Off 和 Send-Via 


除了 send ， 代 理 还 支持 send-off 和 send-via 函数 。 不 同 的 是 
ATT EAR HAL, send 使 用 公用 线程 池 ，send-off 使 用 一 
个 新 线程 ， 而 send-via 使 用 由 参数 指定 的 executor ° 


如 果 传 入 的 函数 可 能 会 阻塞 〈 并 占用 其 执行 线程 ) 或 需要 执行 很 
久 ， 推 荐 使 用 send-off 或 send-via 。 除 此 之 外 ， 三 个 函数 差 
别 不 大 。 


异步 更 新 比 同步 更 新 有 着 明显 的 优势 ， 尤 其 古 当 更 新 操作 会 发 生 阻塞 
或 需要 执行 很 信 时 。 但 异步 更 新 也 更 复杂 ， 尤 其 在 错误 处 理 方 面 。 下 
面 来 看 看 Clojure 对 错误 处 理 方面 的 文 持 。 


错误 处 理 


代理 与 原子 变量 一 样 都 支持 校 验 器 和 监视 器 。 下 面 的 例子 中 ， 代 理 使 
用 了 一 个 校 验 器 来 确保 其 值 不 为 负数 : 


user=> 


(def non-negative (agent 1 :validator (fn [new-val] (>= new-val 


0)))) 


#'user/non-negative 


递减 代理 的 值 ， 直 到 其 将 变 为 负数 : 


(send non-negative dec) 


#<Agent@6257d812: 0> 
user=> 
@non-negative 


0 
user=> 


(send non-negative dec) 


#<Agent@6257d812: 0> 
user=> 


@non-negative 


不 出 所 料 ， 代 理 的 值 不 会 变 为 负数 。 但 如 果 继 续 使 用 这 个 发 生 过 错误 
的 代理 ， 会 怎样 呢 ? 


user=> 
(send non-negative inc) 


IllegalStateException Invalid reference state 
clojure.lang.ARef.validate... 


user=> 


@non-negative 


一 旦 代理 发 生 错 误 ， 就 会 默认 进入 失效 状态， 之 后 对 代理 数据 的 任何 
操作 都 会 失败 。 使 用 agent-error 可 以 查看 一 个 代理 是 否 为 失效 状态 


(也 可 以 查看 其 失效 原因 ) ， 使 用 restart-agent 可 以 重 置 失效 状 
态 的 代理 : 


user=> (agent-error non-negative) 


#<IllegalStateException java.lang.IllegalStateException: Invalid 
reference state> 


user=> 


(restart-agent non-negative 0) 


0 
user=> 


(agent-error non-negative) 


nil 
user=> 


(send non-negative inc) 


#<Agent@6257d812: 1> 
user=> 


@non-negative 


创建 代理 时 其 错误 处 理 模式 默认 为 ;failL。 也 可 以 将 错误 处 理 模式 置 
为 :continue ， 这 意味 着 失效 状态 的 代理 不 需要 通过 restart- 

agent 重 置 就 可 以 处 理 新 的 操作 。 °。 如果 设置 了 错误 处 理事 数 ， 那 错误 
处 理 模式 默认 为 :continue ， 代 理 出 现 错误 时 则 会 调用 错误 处 理 函 


下 面 来 看 一 个 使 用 代理 的 例子 。 


内 存 日 志 系统 


进行 并 行 编程 时 ， 我 发 现 内 存 日 志 系 统 是 非常 有 用 的 一 一 传统 日 志 系 
REIA, TAHHA PEE, PCa TT H eee 

进行 多 次 上 下 文 切换 和 IO 操 作 。 用 线程 与 锁 模 型 实现 内 存 日 志 系 统 
比较 复杂 而 使 用 代理 来 实现 隐 非 常 简单 : 


Clojure/Logger/src/logger/core.clj 
(def 
log-entries (agent 


[] ) ) 
(defn 


log [entry] 
(sen 


log-entries conj 


[(now) entry])) 


日 志 被 记录 在 代理 1og-entries 中 ， 其 初始 值 是 一 个 空 数组 。1og 

函数 用 conj 回 数 组 中 添加 新 元 素 ， 新 元 素 是 一 个 二 元 数组 一 第 一 个 
元 素 是 时 间 戳 (记录 着 send 被 调用 的 时 间 ， 而 不 是 conj 被 代理 调用 
的 时 间 ， conj 调用 的 时 间 可 能 比 send 要 晚 ) ， 第 二 个 元 素 是 日 志 消 


在 REPL 中 验证 一 下 : 


logger .core=> 


(log "Something happened") 


#<Agent@bd99597: [[1366822537794 "Something happened"]]> 
logger .core=> 


(log "Something else happened") 
#<Agent@bd99597: [[1366822538932 "Something happened"]]> 
logger .core=> 

@log-entries 


[ [1366822537794 "Something happened"] [1366822538932 "Something 
else happened"]] 


下 一 节 我 们 来 学 习 另 一 种 Clojure 的 共享 可 变数 据 类 型 一 引用 。 
软件 事务 内 存 


引用 (ref) 比 原子 变量 和 代理 更 复杂 ， 通 过 引用 可 以 实现 软件 事务 内 
存 (Software Transactional Memory, STM) 。 通 过 原子 变量 和 代理 每 
次 仅 能 修改 一 个 变量 ， 而 通过 STM 可 以 对 多 个 变量 进行 并 发 的 一 致 的 
> WRA ENES a AN Aid eT HAA EAE 


与 原子 变量 和 代理 类 似 ， 引 用 (ref) 包装 了 对 一 个 值 的 引用 
(reference) ， 可 以 通过 deref 或 @ 获取 该 值 。 


user=> 


(def my-ref (ref 0)) 


#'user/my-ref 
user=> 


@my - ref 


引用 的 值 可 以 通过 ref- set KZE ° Clojurefett falter 函数 来 修改 
引用 的 值 ， 它 类 似 于 之 前 提 到 的 swap! 和 send ， 但 不 同 点 在 于 其 使 
用 时 不 能 只 是 简单 地 被 调用 : 


user=> 


(ref-set my-ref 42) 


IllegalStateException No transaction running 
user=> 


(alter my-ref inc) 


IllegalStateException No transaction running 
只 能 在 一 个 事务 中 才能 修改 引用 的 值 。 
事务 


STM 事务 具有 原子 性 、 一 致 性 和 隔离 性 。 


原子 性 : 在 其 他 的 事务 看 来 ， 当 前 事务 的 所 有 副作用 或 者 全 部 发 生 ， 
或 者 都 不 发 生 。 

一 致 性 ， 事 务 保证 全 程 遵守 校 验 器 定义 的 规范 《就 像 我 们 在 原子 变量 
和 代理 中 看 到 的 一 样 ) 。 如 果 事 务 的 一 系列 修改 中 任 一 个 校 验 失败 ， 
那么 所 有 的 修改 都 不 会 发 生 。 

隔离 性 : 多 个 事务 可 以 同时 运行 ， 但 同时 运行 的 事务 的 结果 与 串 行 运 
行 这 些 事务 的 结果 应 当 完 全 一 样 。 


你 可 能 已 经 看 出 来 了 ， 这 三 个 性 质 是 许多 数据 库 支 持 的 ACID 特 性 中 的 
前 三 个 。 唯 一 遗漏 的 性 质 是 持久 性 一 一 STM 的 数据 在 电源 故障 或 系统 
裔 溃 时 会 丢失 。 如 果 和 需要 用 到 持久 性 ， 束 必须 使 用 数据 库 。 


使 用 dosync 创建 一 个 事务 : 


user=> 


(dosync (ref-set my-ref 42) ) 
42 
user=> 

@my - ref 
42 
user=> 

(dosync (alter my-ref inc) ) 
43 
user=> 


@my - ref 


43 


dosync @22H AT AICATIBL [Th SS © 
小 乔 爱 问 : 
这 些 事务 必须 具有 隔离 性 吗 ? 
大 多 数 场景 适合 使 用 完全 隔离 的 事务 ， 但 对 于 有 些 场 景 ， 隅 离 性 
是 个 过 强 的 约束 。 如 果 用 commute 替换 alLlter ， 就 可 以 得 到 不 那 
么 强 的 隅 离 性 。 


虽然 使 用 commute 是 一 种 有 效 的 优化 手段 ， 但 是 理解 其 适用 场景 
是 比较 复杂 的 ， 因 此 本 书 不 介绍 这 部 分 内 容 。 


多 个 引用 


事务 通常 会 涉及 多 个 引用 (否则 ， 应 使 用 原子 变量 或 代理 ) 。 使 用 事 
务 的 典型 场景 是 在 不 同 银行 账户 之 间 进 行 转账 一 一 大 家 永远 不 想 看 
到 “ 钱 已 经 从 源 账 户 中 划 出 、 但 未 能 划 入 目标 账户 ”的 情况 。 下 面 这 个 
函数 保证 了 出 账 和 入 账 都 发 生 ， 或 者 都 不 发 生 : 


Clojure/Transfer/src/transfer/core.clj 


(defn 


transfer [from to amount] 
(dosync 
(alter 
from - 


amount ) 
(alter 


to + 


amount ) ) ) 


WPI PER BE AT UE: 
user=> 

(def checking (ref 1000) ) 
#'user/checking 
user=> 

(def savings (ref 2000) ) 
#'user/savings 
user=> 

(transfer savings checking 100) 
1100 
user=> 

@checking 


1100 
user=> 


@savings 


1900 


如 和 东 STM 运 行 时 检测 到 几 个 并 发 事务 的 修改 发 生 冲 突 ， 那 其 中 的 一 个 
人 进行 重 坛 。 就 像 修 改 原 子 变量 一 样 ， 事 务 需要 保证 没有 
fl 


重 试 事务 


秉 着 移 做 实验 再 讲理 论 的 精神 ， 我 们 先 对 transfer 函数 进行 压力 测 
试 ， 看 看 是 否 能 找到 事务 被 重 试 的 现象 。 党 试 以 下 代码 : 


Clojure/Transfer/src/transfer/core.clj 


(def 


attempts (atom 


9) ) 
(def 


transfers (agent 
9 ) ) 
(defn 
transfer [from to amount] 
(dosync 
> (swap! 


attempts inc 


) // 在 事务 内 产生 副作用 一 产品 代码 中 永远 不 要 这 样 写 111 
> (send 


transfers inc 


) 
(alter 


from - 


amount ) 
(alter 


to + 


amount ) ) ) 


这 段 代码 故意 打破 “禁止 副作用 ”的 规则 ， 在 ee 子 变 量 来 产 
生 副 作用 。 我 们 是 为 了 做 事务 重 现 的 实验 才 这 样 做 ， 永 远 不 要 在 产品 
代码 中 这 样 写 。 


除了 在 原子 变量 中 维护 了 计数 器 ， 我 们 还 在 代理 中 维护 了 计数 器 ， 稍 
后 会 对 这 个 做 法 进行 解释 。 


下 面 这 段 代 码 用 于 对 transfer 函数 进行 压力 测试 : 


Clojure/Transfer/src/transfer/core.clj 


(def 


checking (ref 


10000) ) 
(def 


savings (ref 
20000) ) 
(defn 


stress-thread [from to iterations amount ] 
(Thread. #(dotimes 


[_ iterations] (transfer from to amount) ))) 
(defn 


-main [& args] 
(printin 


"Before: Checking 
=" @checking " Savings 


=" @savings) 
(let 


[t1 (stress-thread checking savings 100 100) 
t2 (stress-thread savings checking 200 100) ] 
(.start t1) 


(.start t2) 

(.join t1) 

(.join t2)) 
(await 


transfers) 
(printin 


"Attempts 


: " @attempts) 
(printin 


"Transfers 


: " @transfers) 
(printin 


"After: Checking 


=" @checking " Savings 


=" @savings) ) 


这 段 代码 创建 了 两 个 线程 。 一 个 线程 从 支票 账户 往 储蓄 账户 进行 100 次 
转账 ， 每 次 100 美 金 ， 另 一 个 线程 从 储 著 账 户 往 文 票 账户 进行 200 次 转 
账 ， 每 次 100 美 金 。 我 运行 时 得 到 以 下 输出 : 


: Checking = 10000 Savings = 20000 
Attempts: 638 
Transfers: 300 
After: Checking = 20000 Savings = 10000 


太 好 了 ， 我 们 得 到 了 预期 的 结果 ，STM 运 行 时 确保 并 发 事务 运行 得 到 


了 正确 的 结 采 。 其 代价 是 进行 了 多 次 重 试 (本 例 中 进行 了 338 次 重 
试 ) ， 而 好 处 是 全 程 没 有 使 用 锁 ， 不 会 有 发 生死 锁 的 风险 。 

当然 ， 这 并 不 是 现实 中 的 情 说 一 一 两 个 线程 在 频 迷 的 循环 中 访问 同一 
个 引用 ， 在 此 情况 下 会 不 断 发 生 访 问 冲 突 。 实 际 情况 中 ， 一 个 设计 民 
好 的 系统 的 事务 重 试 次 数 会 少 得 多 。 


事务 的 安全 副作用 


你 也 许 注意 到 尽管 原子 变量 维护 的 计数 不 断 增 大 ， 但 代理 维护 的 计数 
却 与 事务 的 数量 相等 。 其 原因 是 代理 具有 事务 性 。 


如 琳 在 事务 中 用 send 来 更 新 一 个 代理 ， 那 send 仅 在 事务 成 功 时 生 
效 。 如 果 需 要 在 事务 成 功 时 产生 一 些 副 作用 ， 那 send 将 是 最 佳 选择 。 


小 乔 爱 问 : 
函数 名 末尾 的 感叹 号 是 什么 意思 ? 


你 也 许 注意 到 一 些 男 数 名 末尾 有 个 感叹 号 一 这 种 命名 规则 在 表 
达 什 么 ? 


Clojure 用 一 个 感到 号 表示 一 个 函数 不 是 事务 安全 的 ， 比 如 swap! 

Alreset! 。 由 于 更 新 代理 的 函数 使 用 的 是 send 而 不 是 send ! , 

所 以 可 以 安全 地 在 事务 中 更 新 代理 。 
Clojure 对 共享 可 变 状 态 的 支持 


之 前 已 经 学 习 了 Clojure 文 持 共 诗 可 变 状 仿 的 三 种 机 制 。 每 种 机 制 部 有 
各 目的 适用 场景 。 


原子 变量 可 以 对 一 个 值 进行 同步 更 新 一 一 同步 的 意思 是 更 新 在 swap ! 
返回 时 已 经 完成 。 对 多 个 原 了 于 变量 不 能 进行 一 怪 地 更 新 。 


代理 可 以 对 一 个 值 进行 异步 更 新 一 一 异步 的 意思 是 更 新 可 能 在 send 返 
回 后 进行 。 对 多 个 代理 不 能 一 致 更 新 。 


引用 可 以 对 多 个 值 进行 一 致 的 、 同 步 的 更 新 。 
第 二 天 总 结 


我 们 完成 了 第 二 天 的 学 习 。 第 三 天 我 们 将 学 习 一 些 使 用 可 变 类 型 的 复 
杂 例 子 ， 并 学 习 不 同 可 变 类 型 的 适用 场景 。 


第 二 天 我 们 学 到 了 什么 
除了 原子 变量 ，Clojure 还 提供 了 代理 和 引用 。 


。 原子 变量 可 以 对 单一 值 进行 隔离 的 、 同 步 的 更 新 。 
。 代理 可 以 对 单一 值 进行 隔离 的 、 异 步 的 更 新 。 
。 引用 可 以 对 多 个 值 进行 一 臻 的、 同步 的 更 新 。 
BREY 
查找 


。 观看 Rich Hickey 的 演讲 “Persistent Data Structures and Managed 
References: Clojure's Approach to Identity and State” ° 


。 观看 Rich Hickey 的 演讲 “Simple Made Easy” ° 
实践 


改进 4.2 节 的 例子 TournamentServer ， 用 引用 和 事务 来 实现 一 
个 运行 井 字 棋 游戏 的 服务 器 。 

用 列表 存储 下 点 ， 实 现 一 个 持久 化 的 查询 二 又 树 。 最 坏 情况 下 需 
要 进行 多 少 次 复制 ? 平均 情况 下 呢 ? 


学 习 finger tree， 并 用 它 实 现 查 询 二 义 树 。 它 对 平均 情况 下 和 最 坏 
情况 下 的 性 能 有 什么 影响 ? 


44 第 三 天 : 深入 学 习 

我 们 已 经 学 习 了 “Clojure 之 道 "涉及 的 所 有 组 件 。 今 天 将 学 习 一 些 运用 
这 些 组 件 的 复杂 例子 ， 以 及 在 面 对 某 个 并 发 问题 时 应 当选 择 原子 变量 
还 是 选择 STM 。 

用 STM 解决 哲学 家 进餐 问题 

作为 开场 ， 先 来 回顾 一 下 第 2 章 提 到 的 “哲学 家 进餐 问题 "， 并 用 Clojure 


的 STM 来 解决 这 个 问题 。 该 解决 方案 非常 类 似 于 2.3 节 中 介绍 的 使 用 条 
件 变 量 的 方案 (然而 STM 方案 会 更 简单 ) 


我 们 使 用 一 个 引用 来 代表 一 个 哲学 家 ， 引 用 的 值 是 哲学 家 的 当前 状态 
(:thinking :eating ) 。 这 些 引 用 保存 在 数组 philosophers 
Hiie 


Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 


(def 


philosophers (into 
[] (repeatedly 


5 #(ref 


:thinking)))) 


个 哲学 家 都 有 一 个 对 应 的 线程 : 


Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 


Line 1 (defn 


think [] 
- (Thread/sleep (rand 


1000) ) ) 
(defn 


eat [] 
5 (Thread/sleep (rand 


1000) ) ) 
- (defn 
philosopher-thread [n] 
(Thread. 
#(let 


om PR oh (philosophers n) 
left (philosophers (mod 


(- n 1) 5)) 
- right (philosophers (mod 


(+ n 1) 5))] 


(while 
true 
(think) 
(when 
(claim-chopsticks philosopher left right) 
15 (eat) 
- (release-chopsticks philosopher)))))) 
- (defn 


-main [& args] 
(let 


[threads (map 


philosopher-thread (range 
5))] 
20 (doseq 


[thread threads] (.start thread)) 
- (doseq 


[thread threads] (.join thread)))) 


与 Java 版 本 的 方案 类 似 ， 每 个 线程 将 无 限 循环 下 去 (8127) ， 哲 学 家 
或 者 进行 思考 ， 或 者 尝试 进餐 。 如 果 claim-chopsticks 执行 成 功 

(第 14 行 ) ， 控 制 结构 when 会 先 调用 eat 再 调用 release- 
chopsticks 。 


release-chopsticks 的 实现 非常 简单 : 
Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 


(defn 


release-chopsticks [philosopher ] 
(dosync 


(ref-set 


philosopher :thinking) ) ) 


这 上 段 代码 仅 简 单 地 用 dosync 创建 一 个 事务 ， 并 用 ref-set 将 状态 置 
为 :thinking ° 


首次 尝试 
claim-chopsticks 函数 非常 值得 讨论 一 一 先 尝试 一 种 实现 方法 : 


(defn 
claim-chopsticks [philosopher left right] 
(dosync 
(when 


(and 


(= @left :thinking) (= @right :thinking) ) 
(ref-set 


philosopher :eating)))) 


类 似 于 release-chopsticks ， 这 段 代码 首先 创建 了 一 个 事务 。 在 
这 个 事务 中 ， 检 查 左边 和 右边 的 哲学 家 的 状态 一 -如果 两 边 的 状态 都 
是 :thinking ， 就 使 用 ref-set 将 当前 哲学 家 的 状态 置 为 eating 

。 如 果 条 件 不 满足 ，when 语句 将 返回 nil ， 即 当 哲学 家 无 法 获得 两 文 
筷子 并 开始 进餐 时 ，claim-chopsticks 也 将 返回 nil 。 


兰 试 运行 这 段 代码 ， 第 一 感觉 是 一 切 运行 正常 。 但 偶尔 也 会 发 现 两 个 
相 邻 的 哲学 家 在 同时 进餐 ， 他 们 共用 了 一 文 亿 子 ， 显 然 这 是 个 错误 的 
RES RRETA 


BOR Tl RANERO 访问 了 left 和 right 的 值 。Clojure 的 
STM 会 傈 证 两 个 事务 不 能 对 同一 个 引用 进行 不 一 致 的 修改 ， 虽 然 这 段 
代码 并 没有 修改 left 或 者 right ， 但 却 读 取 了 它们 的 值 。 其 他 事务 
征 可 以 修改 这 些 值 的 ， 这 也 就 造成 了 相 邻 的 哲学 家 同时 进餐 的 错误 状 


w 


确保 值 不 被 修改 
要 解决 上 面 的 问题 ， 可 以 用 ensure REO 来 访问 left 和 right : 


Clojure/DiningPhilosphersSTM/src/philosophers/core.clj 


(defn 


claim-chopsticks [philosopher left right] 
(dosync 


(when 
(and 
(= (ensure 
left) :thinking) (= (ensure 


right) :thinking)) 
(ref-set 


philosopher :eating)))) 


ensure 函数 确 休 了 其 返回 的 茶 引 用 的 值 不 会 被 其 他 事务 修改 。 与 之 前 
基于 线程 与 贷 的 解决 方案 相 比较 会 发 现 ， 现 在 的 方案 不 仅 非 芝 简洁 ， 
而 且 是 无 锁 的 ， 即 没有 死 锁 风 险 。 


现在 的 解决 方案 使 用 了 多 个 引用 和 事务 ， 下 一 下 将 介绍 改 一 种 解决 方 
案 ， 其 只 使 用 了 一 个 原子 变量 。 


不 用 STM 解决 哲学 家 进餐 问题 


面 对 哲 学 家 进餐 问题 ， a a Sale eto 
BY TTR RE Te CAB — PS RAC, FEB SST ROT E 
eee Bt, HMA SNAP RERRBMA A 学 家 


Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 


(def 


philosophers (atom 
(into 


[] (repeat 


5 :thinking)))) 


原子 变量 的 值 是 一 个 状态 数组 。 举 例 说 明 ， 斩 学 家 0 和 哲学 家 3 正在 进 
餐 时 ， 其 状态 数组 是 : 


[:eating :thinking :thinking :eating :thinking] 


SR, BARA AI SRRE EAR, WT philosopher - 
thread 做 一 点 小 修改 : 


Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 


(defn 
philosopher-thread [philosopher ] 
(Thread. 

> #(let 

[left (mod 

(- 

philosopher 1) 5) 
> right (mod 


(+ 


philosopher 1) 5)] 
(while 


true 
(think) 
(when 


(claim-chopsticks! philosopher left right) 
(eat) 
(release-chopsticks! philosopher)))))) 


之 后 ， 要 实现 release-chopsticks! ， 只 需要 用 swap! 将 状态 数 
组 的 相关 元 素 置 为 :thinking : 


Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 


(defn 


release-chopsticks! [philosopher ] 
(swap! 


philosophers assoc 


philosopher :thinking) ) 


这 里 用 到 了 assoc ， 之 前 我 们 对 map 用 过 这 个 函数 ， 其 对 数组 的 效果 
ER AA: 


user=> 


(assoc [:a :a :a :al 2 :b) 


i= 


最 后 ， 实 现 最 关键 的 函数 claim-chopsticksl : 


Clojure/DiningPhilosphersAtom/src/philosophers/core.clj 


(defn 


claim-chopsticks! [philosopher left right] 
(swap! 


philosophers 
(fn 


[ps] 
(if 


(and 


(ps left) :thinking) (= 


(ps right) :thinking) ) 
(assoc 


ps philosopher :eating) 
ps 


))) 


(= 
(@philosophers philosopher) :eating) ) 


传 给 swap! 的 匿名 函数 的 参数 是 状态 数组 philosophers 的 当前 值 ， 
AE BON SPR 下 学 家 的 状态 进行 检查 。 如 果 邻 座 都 在 思考 ， 就 用 
assoc 将 当前 哲学 家 的 状态 置 为 :eating ， 否 则 直接 返回 
philosophers 而 不 改变 philosophers 的 值 。 


claim-chopsticks! 的 最 后 一 行 代 码 检查 了 philosophers 的 新 
t, 目的 是 判断 swap ! 是 否 成 功 地 将 当前 哲学 家 的 状态 置 为 :eating 


4 此 处 作者 在 swap ! 之 后 调用 了 @philosophers ， 设 想 如 果 在 swap! 之 后 、 
@philosophers 之 前 ， 另 一 个 线程 修改 了 当前 哲学 家 的 状态 #8 Aclaim-chopsticks! 
的 返回 值 将 不 正确 。 所 以 不 推荐 这 样 使 用 ， 而 是 应 将 状态 设置 和 } see ees 个 原子 操 
作 中 。 不 过 ， 此 处 由 于 当前 哲学 家 状态 仅 能 | 当前 线程 修改 ， 所 以 这 段 代码 是 正确 的 。 


译 者 注 


我 们 已 经 学 习 了 两 种 哲学 家 进餐 问题 的 解决 方案 ,一 种 使 用 STM， 男 
一 种 则 不 使 用 。 如 何在 两 者 之 间 进 行 选择 呢 ? 


原子 变量 还 是 STM? 


第 二 天 已 介绍 过 ， 原 子 变 量 可 以 对 单一 值 进行 更 新 ， 而 引用 可 以 对 多 
个 值 进 行 一 致 的 更 新 。 虽 然 两 者 功能 不 同 ， 但 如 本 章 所 述 ， 我 们 能 做 
出 一 个 使 用 STM 并 涉及 多 个 引用 的 解决 方案 ， 也 能 很 容易 将 其 转换 成 
一 个 使 用 单一 原子 变量 的 方案 。 


现在 我 们 面临 一 个 灼 碎 的 局 面 一 一 当 解 决 一 个 涉及 多 个 值 需 一 任 更 新 
的 问题 时 ， 即 可 以 使 用 多 个 引用 并 通过 事务 来 你 证 访问 一 致 性 ， 也 可 
以 将 这 些 值 整合 到 一 个 数据 结构 中 并 用 一 个 原 于 变量 管理 这 个 数据 结 
构 的 访问 一 致 性 。 


应 该 如 何 选 择 呢 ? 


这 个 问题 的 答案 很 大 程度 上 因 人 而 异 一 一 两 种 方案 都 正确 ， 所 以 要 选 
择 那 个 最 催 便 的 。 在 性 能 上 ， 根 据 使 用 场景 的 竺 点 和 数据 访问 模式 的 


不 同 ， 肯 定 会 有 所 差异 ， 所 以 需要 用 压力 测试 进行 性 能 评估 之 后 再 进 
行 选择 。 


虽然 STM 带 有 更 多 光臣， 但 有 经 验 的 Clojure 程 序 员 知道 : 由 于 语言 的 
函数 性 减少 了 对 可 变量 的 使 用 ， 因 此 大 部 分 问题 都 可 以 用 原子 变量 来 
解决 。 更 简单 的 方案 通常 会 更 有 效 。 


定制 并 发 函数 


使 用 原子 变量 解决 哲学 家 进餐 问题 的 代码 是 可 以 正确 运行 的 ， 但 
claim-chopsticks! 的 实现 并 不 优雅 。 如 有 果 当 前 哲学 家 可 以 获得 两 
边 的 筷子 ， 那 调用 swap ! 之 后 的 那 次 检查 是 否 必要 ? 理想 状况 下 ， 仅 
需要 一 个 类 似 于 swap ! 的 函数 ， 其 接受 一 个 参数 作为 判断 条 件 ， 仅 当 
判断 条 件 为 真 时 进行 swap ! 操作 。 可 以 将 claim-chopsticks! 写成 
这 样 : 


Clojure/DiningPhilosphersAtom2/src/philosophers/core.clj 


(defn 


claim-chopsticks! [philosopher left right] 
(swap-when! Philosophers 
#(and 


(%1 left) :thinking) (= (%1 right) :thinking) ) 
assoc 


philosopher :eating)) 


Clojure 并 没有 提供 我 们 理想 中 的 函数 ， 但 我 们 可 以 目 己 写 一 个 : 


Clojure/DiningPhilosphersAtom2/src/philosophers/util.clj 


Line 1 (defn 


swap -when! 
"If (pred current-value-of-atom) is true, atomically swaps 
the value 


of the atom to become (apply f current-value-of-atom 


args). Note that 


- both pred and f may be called multiple times and thus 
should be free 


5 of side effects. Returns the value that was swapped in if 
the 


predicate was true, nil otherwise." 
[a pred f & args] 


(loop 


[] 
(let 


[old @a] 
10 (if 


(pred old) 
- (let 


[new (apply 
f old args)] 


(if 
(compare-and-set 
! a old new) 
- new 
(recur 
))) 
15 nil)))) 


这 段 代 码 用 到 了 一 些 先 前 没 出 现 过 的 语言 特性 。 第 一 个 特性 是 文档 字 
符 串 。 文 档 字符 串 是 位 于 defn 和 参数 列表 之 间 的 字符 串 ， 用 于 描述 
函数 的 行为 。 文 档 字 符 串 对 任何 函数 都 是 有 益 的 ， 尤 其 是 对 那些 为 了 
重用 而 设计 的 辅助 画 数 。 除 了 在 源码 中 查看 文档 字符 串 ， 也 可 以 从 
REPL 中 获取 : 


philosophers.core=> 


(require '[philosophers.util :refer :all]) 


nil 
philosophers.core=> 


(clojure.repl/doc swap-when! ) 


philosophers.util/swap-when! 
(Latom pred f & args]) 

If (pred current-value-of-atom) is true, atomically swaps the 
value 

of the atom to become (apply f current-value-of-atom args). Note 
that 

both pred and f may be called multiple times and thus should be 
free 

of side effects. Returns the value that was swapped in if the 

predicate was true, nil otherwise. 


第 二 个 特性 是 参数 列表 中 的 & 符号 ， 其 说 明了 swap -whenl 的 参数 个 
数 是 可 变 的 (非常 类 似 于 Java 中 的 省 略 号 或 Ruby 中 的 星 号 ) 。 通 过 名 
为 args 的 数组 可 以 访问 附加 的 参数 。 这 里 还 用 到 了 apply ， 其 可 以 
将 最 后 一 个 参数 展开 ， 作 为 附加 的 参数 传 给 f (第 11 行 ) 一 一 举例 说 
明 ， 下 面 这 两 种 调用 + 函数 的 方式 是 等 价 的 : 


user=> 


(apply + 1 2 [3 4 5]) 


(+12345) 


15 


我 们 还 使 用 较 底层 的 compare-and-set! (81247) 来 奉 换 swap 

° compare-and-set! 接受 一 个 原子 变量 、 原 子 变量 的 旧 值 和 原子 变 
量 的 新 值 一 一 仅 当 原子 变量 的 当前 值 等 于 旧 值 时 ， 原 子 变量 的 值 会 被 
更 新 为 新 值 ， 整 个 比较 和 更 新 的 过 程 都 是 原子 的 。 


当 compare-and-set! RHET, swap-when! 返回 原子 变量 的 新 


值 。 人 否则 ， 使 用 recur 


小 乔 爱问 : 
什么 是 Loop/Recur? 


与 许多 函数 式 语言 不 同 ，Clojure 不 有 具备 尾 调用 消除 (tail-call 
elimination) 的 能 力 ， 因 此 Clojure 代 码 不 常 使 用 递归 ， 而 是 用 


loop/recur œ 


loop 宏 定 义 了 一 个 销 点 ， 
C/C++ 中 的 setjmp() 和 longjmp()) 。Clojure 语 言 手册 中 详 述 
了 其 工作 原理 。 


第 三 天 总 结 


(第 14 行 ) 回 到 第 8 行 重新 运行 。 


recur 可 以 跳 到 这 个 销 点 (类 似 于 


我 们 完成 了 第 三 天 的 学 习 ， 讨 论 了 Clojure 如 何 将 函数 式 编 程 邱 可 变量 


混搭 使 用 。 


第 三 天 我 们 学 到 了 什么 


Clojure 的 芳 数 式 性 质 极 大 地 减少 了 可 变量 的 使 用 。 通 党 情况 下 ， 基 于 
原子 变量 的 简单 并 发 方案 ? 就 足够 了 : 


5 可 以 认为 基 ] 


原 了 


X 


量 的 方案 是 基于 


代理 的 方案 的 子 集 。 


译 者 注 


。 基 于 STM 的 解决 方案 (通过 事务 来 达成 多 个 值 的 一 致 性 ) 可 以 被 
基于 代理 的 解决 方案 〈 将 多 个 值 整 合 到 一 个 数据 结构 中 ， 并 用 一 
个 代理 来 管理 对 这 个 数据 结构 的 访问 ) 替换 ; 


查找 


在 两 种 方案 之 间 的 选择 往往 基于 个 人 风格 和 程序 性 能 
定制 并 发 函数 可 以 让 代码 更 简洁。 
第 三 天 上 自习 


。 观看 Rich Hickey 的 演讲 “The Database as a Value”， 注 意 Datomics 是 
如 何 有 效 地 将 整个 数据 库 视 为 一 个 单一 值 的 。 


6 http://www.datomic.com 
Ro » 
实践 


。 改进 第 二 天 的 实践 部 分 的 TournamentServer ， 用 原子 变量 代替 
引用 和 事务 。 哪 一 种 方案 更 简单 ? 哪 一 份 代码 更 易 读 ? 哪 一 种 方 
案 性 能 更 好 ? 


4.5 复习 


Clojure 在 解决 并 发 问题 上 非常 务实 。 起 先 我 们 意识 到 并 发 编程 中 最 大 
的 障碍 来 自 于 共享 可 变 状态 ， 于 是 Clojure 作 为 一 门 钞 数 式 语言 挺身 而 
出 ， 编 写 出 具有 引用 透明 性 且 无 副作用 的 代码 。 之 后 我 们 又 意识 到 一 
些 问 题 场 景 需要 对 某 些 可 变 状态 进行 维护 ， 因 此 Clojure 又 提供 了 很 多 
并 发 安全 的 可 变数 据 类 型 。 


TR 


很 显然 ， 本 章 “Clojure 之 道 ” 的 优点 建立 在 上 一 章 介绍 的 函数 式 编程 的 
基础 上 。 我 们 可 以 用 Clojure“ 函 数 式 地 ”解决 男 数 式 的 问题 ， 也 可 以 在 
必要 的 时 候 突破 函数 式 的 蔡 铀 。 


传统 命令 式 语言 的 变量 混淆 了 标识 与 状态 这 两 个 概念 ， 而 Clojure 的 持 
久 数 据 结构 将 可 变量 的 标识 与 状态 分 离开 来 。 这 解决 了 使 用 尔 的 方案 
的 大 部 分 缺点 。 专 家 级 Clojure 程 序 员 知道 解决 并 发 问题 的 最 佳 选择 十 
那个 “刚刚 够 用 ”的 方案 。 

BU 


“Clojure 之 道 ” 的 主要 缺点 在 于 不 文 持 分 布 式 (地 理 分 布 或 其 他 ) 编 
程 。 与 之 相关 ， 它 也 无 法 直接 提供 容错 性 。 


由 于 Clojure 在 JYVM 中 运行 ， 很 多 第 三 方 库 可 以 为 Clojure 弥 补 这 些 缺 点 
(Akka” 就 是 其 中 之 一 ， 它 使 用 了 下 一 章 将 要 介绍 的 actor 模 型 ) ， 不 过 


对 这 些 第 三 方 库 的 介绍 超出 了 本 书 的 范围 。 


http://blog.darevay.com/2011/06/clojure-and-akka-a-match-made-in/ 


其 他 语言 


Haskell 提 供 了 类 似 本 章 介 绍 的 功能 ， 不 过 作为 一 种 纯粹 的 画 数 式 语 
言 ， 使 用 起 来 会 有 一 种 不 同 的 “体验 ”。 值 得 一 提 的 是 Haskell 提 供 了 完 
整 的 STM 实现 ，Simon Peyton Jones 的 文章 “Beautiful Concurrency” 对 其 
进行 了 详细 的 解说 。 


8 http://research.microsoft.com/pubs/74063/beautiful.pdf 


男 外 ， 大 部 分 主流 编程 语言 都 提供 了 STM 的 实现 ， 包 括 GCC 文 持 的 编 
程 语言 "。 尽 管 如 此 ， 有 证 据 表明 : STM 模 型 并 不 适合 于 命令 式 语言 


http://gcc.gnu.org/wiki/TransactionalMemory 


10 hitp://www.infog.com/news/2010/05/STM-Dropped 


结语 


Clojure 在 函数 式 编 程 和 可 变 状 态 之 间 取 得 了 很 好 的 平衡 ， 比 起 纯粹 的 

函数 式 语 言 ， 这 些 命 令 式 语言 的 特性 会 让 程序 员 感 觉 更 亲切 、 更 容易 

人 
st F o 
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状态 。 下 一 章 我 们 将 学 习 actor 模 型 ， 它 完全 抛弃 了 共享 可 变 状态 。 


第 5 章 Actor 


(E H actori Ath = 处 快速 便捷 地 租 到 一 辆 :如 
也 不 AEA His 直接 打 电 话 合租 车 公司 更 换 男 
一 口 o 


actor 模 型 是 一 种 适用 性 非常 好 的 通用 并 发 编程 模型 。 它 可 以 应 用 于 共 
享 内 存 架 构 和 分 布 式 内 存 架 构 ， 适 合 解 决 地 理 分 布 型 的 问题 。 同 时 它 
还 能 提供 很 好 的 容 蚀 性 。 


5.1 更 加 面向 对 象 


函数 式 编程 不 使 用 可 变 状态 ， 也 就 避免 了 共享 可 变 状态 带 来 的 问题 。 
相 比 之 下 ， 使 用 actor 模 型 保留 了 可 变 状态 ， 只 是 不 进行 共享 。 


actor 类 似 于 面向 对 象 (OO) 编程 中 的 对 象 其 封 攻 了 状态 ， 并 通过 
消息 与 其 他 actor 通 信 。 两 者 的 区 别 是 所 有 actor 可 以 同时 运行 ， 而 且 ， 
与 0O 式 的 “消息 传递 ”实质 上 只 是 调用 一 个 方法 ) 不 同 ，actor 之 间 的 
消息 传递 是 真实 地 在 传递 消息 。 


actor 模 型 是 一 个 通用 的 并 发 编程 模型 ， 几 乎 可 以 用 在 任何 一 种 编程 语 
言 里 ， 最 典型 的 是 Erlang!。 而 我 们 将 用 Elixir? 来 介绍 actor 模 型 ， 它 是 
Erlang 虚 拟 机 (BEAM) 上 相对 较 新 的 一 门 编程 语言 。 


1 http://www.erlang.org/ 


2 http://elixir-lang.org/ 


与 Clojure 类 似 ，Elixir 是 一 门 不 纯粹 的 、 动 态 类 型 的 函数 式 语言 。 如 果 
你 熟悉 Java 或 者 Ruby， 很 容易 就 能 看 懂 Elixir 代 码 。 与 以 往 一 样 ， 我 们 
不 会 把 本 章 写 成 Elixir 的 教程 〈 本 书 的 主旨 是 并 发 ， 而 不 是 编程 语 

言 ) ， 但 仍 将 介绍 一 些 必要 的 语言 特性 。 如 有 果 你 对 这 门 语言 并 不 熟 
条， 那 束 不 得 不 在 某 些 地 方 “盲目 ”接受 本 书 的 说 法 一 一 如 果 想 深入 学 
习 Elixir， 推 荐 阅读 Programming Elixir [Tho14] ° 


ss 我 们 将 学 习 actor 模 型 的 基础 一 一 如 何 创建 actor ` 发送 消息 和 
接收 消息 。 第 二 天 ， 学 习 使 用 actor 模 型 的 程序 具有 容错 性 的 关键 : 失 
败 检 测 和 * 任 其 朋 溃 ”的 哲学 。 第 三 天 ， 学 习 如 何 通 过 actor 模 型 编写 分 


布 式 程 序 ， 将 计算 扩展 到 多 侣 计算机， 并 能 从 一 台 或 多 台 计 算 机 的 月 
并 中 恢复 过 来 。 


5.2 第 一 天 : 消息 和 信箱 


现在 我 们 来 学 习 如 何 创建 和 停止 进程 、 如 何 发 送 和 接收 消息 ， 以 及 如 
何 检测 进程 已 终止 。 


小 乔 爱问 : 

是 actor 还 是 进程 ? 

类 似 于 Erlang， 在 Elixir 中 ，actor 对 象 被 称 为 进程 。 大 部 分 场景 

下 ， 进 程 是 一 个 重量 级 的 概念 ， 它 会 消耗 很 多 资产 ， 且 创建 代价 
很 高 。 不 过 在 Elixir 中 ， 进 程 是 一 个 轻 量 级 的 概念 ， 比 操作 系统 级 
的 线程 还 有 要 轻 量 ; 它 消 耗 更 少 的 资源 ， 且 创建 代价 很 低 。Elixir 程 
序 可 以 点 无 困难 地 创建 数 千 个 进程 ， 通 常 不 需要 依赖 线程 池 〈 参 
见 2.4 方 ) 等 技术 。 


第 一 个 actor 


先 来 尝试 创建 一 个 简单 的 actor， 并 向 其 发 送 一 些 消息 。 我 们 将 创建 一 
个 叫 Talker 的 actor， 其 收 到 不 同 的 消 恩 时 会 输出 不 同 的 结果 。 


所 发 送 的 消息 是 一 个 元 组 (tuple) 元 组 是 一 个 由 多 个 值 组 成 的 序 
列 。 在 Elixir 中 ， 用 花 括号 ({}) 表示 元 组 ， 举 例如 下 : 


{:foo, "this 

Mey 42} 

这 是 个 三 元 组 ， 第 一 个 元 素 是 一 个 关键 字 (与 Clojure 类 似 ， 也 是 用 轩 
号 表示 关键 字 ) ， 第 二 个 元 素 是 一 个 字符 串 ， 第 三 个 元 素 是 一 个 整 
A o 


来 看 看 actor 的 代码 : 


Actors/hello_actors/hello_actors.exs 


defmodule 


Talker do 


def 


loop do 


receive do 


{:greet, name} -> I0.puts("Hello 
#{name 


ae 


{:praise, name} -> I0.puts("#{name 
}, you're amazing 


") 


;ceieprate, name, age -> . PUTS ere s o ano er 
lebrat g IO.puts("Here's t th 


#{age 

} years 
, #{name 
}") 


end 


loop 
end 


end 


我 们 稍 后 会 对 这 段 代码 进行 深入 分 析 。 现 在 只 需要 知道 这 段 代 码 定 义 
了 一 个 actor， 其 接受 三 种 不 同 的 消 思 ， 并 打印 不 同 的 字符 绅 。 


下 面 创 建 这 个 actor 的 实例 ， 并 加 其 发 送 一 些 消息 : 


Actors/hello_actors/hello_actors.exs 


pid = spawn(&Talker.loop/0) 
send(pid, {:greet, "Huey 


send(pid, {:praise, "Dewey 


send(pid, {:celebrate, "Louie 


, 16}) 
sleep(1000 ) 


首先 ， 这 段 代 码 用 spawn 创建 了 actor 的 实例 ， 并 获得 进程 标识 符 ， 这 
个 进程 标识 符 被 保存 在 pid 中 。 进 程 将 执行 spawn 的 参数 所 指定 的 函 
数 ， 本 例 中 的 函数 是 Talker 模块 中 的 1oop( ) ， 该 函数 接受 0 个 参 


然后 ， 这 段 代码 向 刚 创 建 的 actor 实 例 发 送 了 三 个 消息 。 


最 后 ，sleep 一 下 ， 让 各 个 进程 有 时 间 处 理 消息 (用 sleep( ) 并 不 是 最 
佳 选 择 稍 后 将 介绍 如 何 改进 ) 。 


以 下 是 这 段 代 码 的 运行 结 


Hello Huey 
Dewey, you're amazing 
Here's to another 16 years, Louie 


我 们 已 经 学 习 了 如 何 创建 actor 并 回 其 发 送 消 刀 ， 现 在 需要 剖析 一 下 其 
中 的 机 制 。 


队列 式 信箱 


异步 地 发 送 消息 是 用 actor 模 型 编程 的 重要 特性 之 一 。 消 息 并 不 是 直接 
发 送 到 一 个 actor， 而 是 发 送 到 一 个 信箱 (mailbox) ， 如 图 5-1 所 示 。 


a AAA 


HAH 
Celebrate: 
Louie, 16 
HelloActors Talker 
Dewey 


Greet: 
Huey 


actor 都 以 目 己 的 步调 运行 ， 且 


图 5-1 向 信箱 发 送 消息 


这 样 的 设计 解 籼 了 actor 之 间 的 关系 
发 送 消 轧 时 不 会 家 阻塞。 


虽然 所 有 actor 可 以 同时 运行 ， 但 它们 都 按照 信箱 接收 请 妃 的 顺序 来 依 
次 处 理 消 轧 ， 且 仅 在 当前 请 轧 处 理 完 成 后 才 会 处 理 下 一 个 消 轧 ， 因 此 
我 们 只 需要 关心 发 送 消 息 时 的 并 发 问题 即 可 。 

接收 消息 


通常 actor 会 进行 无 限 循环 ， 通 过 receive 等 待 接收 消息 ， 并 进行 消息 
处 理 。 现 在 来 看 一 下 Talker 的 循环 代码 : 


Actors/hello_actors/hello_actors.exs 


def 


loop do 


receive do 


{:greet, name} -> I0.puts("Hello 
#{name 


}") 


{:praise, name} -> IO.puts("#{name 


}, you're amazing 


{:celebrate, name, age} -> I0.puts("Here's to another 
#{age 
} years 
, #{name 


}") 


end 


该 函数 通过 递归 调用 目 己 来 进行 无 限 循 环 ,， 用 receive 块 来 等 得 一 个 


消息 ， 通 过 匹配 模式 来 决定 如 何 处 理 消息 。 这 上段 代码 依次 用 每 个 模式 
对 接收 到 的 消息 进行 匹配 一 一 一 旦 匹配 成 功 ， 在 箭头 〈-> ) 右边 的 代 
码 中 ， 就 可 以 通过 模式 中 的 变量 (name 和 age ) 来 访问 消息 中 的 对 应 
值 。 处 理 消息 的 代码 使 用 字符 串 播 值 技术 来 构造 字符 串 并 输出 一 一 字 
符 串 插值 扩 术 指 的 是 #{t ., . ,} 中 的 代码 将 被 求 值 并 将 求 值 结果 插入 到 字 
符 串 的 对 应 位 置 。 


“第 一 个 actor” 部 分 的 最 后 一 段 代 码 在 退出 前 sleep 了 1 秒 ， 这 样 才 有 足够 


| ee 。 这 个 解决 方案 不 过 是 差强人意 一 我 们 可 以 做 得 更 
小 乔 爱问 : 
不 断 递归 难 道 不 会 栈 淤 出 吗 ? 


你 也 许 已 经 注意 到 了 Talker 的 1oop() 函数 不 断 地 进行 递归 ， 就 
会 担心 堆栈 会 不 断 被 消耗 。 斑 运 的 是 我 们 并 不 需要 担心 一 一 与 许 
多 函数 式 语言 一 样 (不 过 Clojure 是 个 特例 ， 参 见 4.4 节 的 “小 乔 爱 
问 ”) ，Elixir 实 现 了 尾 调 用 消除 。 尾 调用 消除 指 的 是 如 果 函 数 在 最 
后 调用 了 自己 ， 那 么 递归 调用 将 被 替换 成 一 个 简单 的 跳 转 。 


连接 到 (linking) 进程 


为 了 彻底 关闭 一 个 actor， 需要 满足 两 个 条 件 。 第 一 个 是 需 告诉 actor 
在 完成 消息 处 理 后 就 关闭 ;第 二 个 是 需要 知道 actor 何 时 完成 关闭 。 


首先 ， 通 过 接收 一 个 显 式 的 关闭 消息 〈 类 似 于 2.4 节 中 介绍 的 毒 丸 ) 来 
满足 第 一 个 条 件 : 


Actors/hello_actors/hello_actors2.exs 


defmodule 


Talker do 


def 


loop do 


receive do 


{:greet, name} -> I0.puts("Hello 


#{name 


}") 


{:praise, name} -> I0.puts("#{name 


}, you're amazing 


{:celebrate, name, age} -> 10.puts("Here's to another 
#{age 
} years 
, #{name 


}") 
{:shutdown} -> exit 
(:normal) 


end 


loop 
end 


然后 ， 需 要 一 个 方法 来 获知 actor 是 否 完全 关闭 。 下 述 代码 
将 :trap_exit 设 为 true ， 并 用 spawn_1Link() 替换 spawn() 以 连 
接 到 进程 : 


Actors/hello_actors/hello_actors2.exs 


Process.flag(:trap_exit, true 


) 
pid = spawn_link(&Talker.loop/0) 


现在 当 创建 的 进程 关闭 时 ， 就 会 得 到 一 个 通知 (是 一 个 系统 产生 的 消 
fA) 。 这 个 消息 是 一 个 三 元 组 : 


{:EXIT, pid, reason} 


最 后 ， 发 送 天 闭 消 恩 并 收 到 关闭 通知 : 


Actors/hello_actors/hello_actors2.exs 


send(pid, {:greet, "Huey 


send(pid, {:praise, "Dewey 


send(pid, {:celebrate, "Louie 


", 16}) 
> send(pid, {:shutdown}) 


> receive do 


> {:EXIT, pid, reason} -> I0.puts("Talker has exited (#{reason}) 


o) 


> end 


receive 模式 中 使 用 ^ 符号 HFA) 的 第 二 个 元 素 ， 将 不 会 绑 定 到 
消息 的 第 二 个 数据 ， 而 是 用 pid 的 当前 值 进行 模式 匹配 。 


运行 这 个 新 版 本 代码 ， 输 出 如 下 : 


Hello Huey 

Dewey, you're amazing 

Here's to another 16 years, Louie 
Talker has exited (normal) 


我 们 将 在 第 二 天 深入 讨论 连接 技术 。 
有 状态 的 actor 
之 前 的 Talker 是 没有 状态 的 actor。 创 建 一 个 有 状态 的 actor 时 ， 很 容易 


想到 使 用 可 变量 ， 但 实际 上 可 以 使 用 了 递归。 举例 说 明 ， 下 面 这 个 actor 
BEE — “ME EY BFF TRAIN: 


Actors/counter/counter.ex 


defmodule 


Counter do 


def 


loop(count) do 


receive do 


{:next} -> 
I0.puts("Current count: #{count} 


loop(count + 1) 
end 


在 交互 式 Elixir 环 境 iex (Elixir 版 的 REPL) 中 运行 这 段 代码 ; 
iex(1)> 
counter = spawn(Counter, :loop, [1]) 
#PID<0.47.0> 
iex(2)> 
send(counter, {:next}) 
Current count: 1 
{:next} 
iex(3)> 
send(counter, {:next}) 
{:next} 


Current count: 2 
iex(4)> 


send(counter, {:next}) 


{:next} 
Current count: 3 


这 段 代 码 使 用 了 接受 三 个 参数 的 Spawn( ) : 第 一 个 是 模块 名 ， 第 二 
是 模块 中 的 芳 数 名 ， 第 三 个 是 参数 列表 。 J 
将 初始 的 count 传 给 Counter .Loop( ) 。 不 出 所 料 ， 每 发 送 一 个 
{:next} 消息 ， 这 个 actor 束 会 输出 一 个 不 同 的 计数 一 一 有 状态 的 actor 


由 于 这 个 actor 是 串 行 处 理 消 息 的 ， 因 此 actor 可 以 
全 地 访问 其 状态 ， 而 不 会 引发 并 发 问题 。 


用 API 隐 藏 消息 细节 


Counter 已 经 可 以 使 用 了 ， 但 并 不 方便 。 我 们 需要 记 住 传 给 spawn() 
的 参数 是 什么 以 及 消息 的 细 和 (是 {:next} ` next 还 是 
{:increment}°? ) 。 为 了 避免 这 些 麻 烦 ， 可 以 将 spawn( ) 的 调用 
和 消息 的 细节 全 部 隐藏 到 一 组 API 函 数 中 : 


Actors/counter/counter.ex 


defmodule 


Counter do 


> def 


start(count) do 


> Spawn(__MODULE__, :loop, [count]) 
> end 
> def 


next(counter) do 


> send(counter, {:next}) 
> end 
def 


loop(count) do 


receive do 


{:next} -> 
I0.puts("Current count 


: #{count 


}") 


loop(count + 1) 
end 


start() 的 实现 用 到 了 伪 变 量 _MODULE_， 其 值 是 当前 模块 的 名 字 。 
这 样 的 APIikactor 的 使 用 变 得 更 人 简 涪 并 且 不 易 出 错 : 
iex(1)> 
counter = Counter.start(42) 
#PID<0.44.0> 
iex(2)> 
Counter .next (counter) 
Current count: 42 
{:next} 
iex(3)> 


Counter .next (counter) 


{:next} 
Current count: 43 


仅 和 输出 状态 的 actor 没 有 什么 实用 性 。 下 面 来 看 看 如 何 让 两 个 actor 进 行 
双 回 通信 ， 让 一 个 actor 可 以 获取 另 一 个 actor 的 状态 。 


双向 通信 
之 前 提 到 过 ，actor 是 异步 发 送 消 息 的 一 一 发 送 者 并 不 会 被 阻塞 。 那 我 


们 怎么 获得 一 个 消 妃 的 回复 呢 ? 比如 在 之 前 的 Counter 中 ， 如 采 不 输 
出 actor 的 当前 计数 ， 而 是 将 当前 计数 返回 给 发 送 痢 会 怎样 呢 ? 


actor 模 型 没有 提供 直接 回复 消 轧 的 机 制 ， 但 我 们 可 以 目 行 解决 : 将 发 
。 通 过 这 个 机 制 ， 消 恩 的 接收 者 可 以 回 
复 消息 : 


Actors/counter/counter2.ex 


defmodule 


Counter do 


def 


start(count) do 


Spawn(__MODULE__, :loop, [count] ) 
end 


def 


next(counter) do 


> ref = make_ref() 

> send(counter, {:next, self(), ref}) 
> receive do 

> {:ok, Aref, count} -> count 

> end 


end 


def 


loop(count) do 


receive do 


{:next, sender, ref} -> 
> send(sender, {:ok, ref, count}) 
loop(count + 1) 


这 个 版 本 不 再 输出 当前 计数 ， 而 是 将 当前 计数 返回 给 发 送 人 着， 返回 的 
消 刀 类似 于 下 面 的 三 元 组 : 


{:ok, ref, count} 


ref 是 发 送 者 用 make_ref() 生成 的 唯一 引用 。 
来 验证 一 下 : 
iex(1)> 


counter = Counter.start(42) 


#PID<0.47.0> 
iex(2)> 


Counter .next (counter) 


42 
iex(3)> 


Counter .next (counter) 


43 


现在 可 以 为 Counter 的 进程 命名 ， 这 样 束 可 以 通过 名 称 查 找到 对 应 的 
进程 。 


小 乔 爱 问 : 


为 什么 回复 的 是 一 个 元 组 ? 


在 我 们 改造 的 Counter 中 可 以 不 回复 一 个 元 组 ， 而 只 回复 计数 即 
PJ: 


{:next, sender} -> 
send(sender, count) 


这 是 正确 的 ， 但 Flixir 习 惯用 元 组 作为 消息 ， 且 第 一 个 元 素 表示 消 
居 处 理 古 成 功 的 还 是 失败 的 。 本 例 中 的 消 恩 还 市 有 发 送 首 生成 的 
唯一 引用 ， 这 样 如 采 多 个 消 妃 到 达 信箱 中 ，actor 束 可 以 通过 这 个 
唯一 引用 来 区 分 这 些 消 轧 。 

为 进程 命名 


将 一 个 消息 发 送 给 某 个 进程 时 ， 需 要 知道 进程 的 标识 符 。 如 果 是 我 们 
自己 创建 的 进程 ， 那 不 会 有 什么 问题 。 但 如 果 要 向 一 个 别人 创建 的 进 
FENRIK AWE? 


XN Alea AY DAA eT IRR, Scie) ATS ie AEE A A : 


iex(1)> 


pid = Counter.start(42) 
#PID<0.47.0> 
iex(2)> 

Process.register(pid, :counter) 
true 
iex(3)> 

counter = Process.whereis(:counter) 
#PID<0.47.0> 
iex(4)> 


Counter .next (counter) 


上 面 的 代码 用 Process ,register() 为 进程 命名 ， 并 用 
Process .whereis( ) 按 名 称 查找 进程 。 通 过 
Process.registered() 可 以 查看 已 被 命名 的 所 有 进程 : 


iex(5)> 


Process.registered 


[:kernel_sup, :init, :code_server, :user, :standard_error_sup, 


:global_name_server, :application_controller, :file_server_2, 
:user_drv, 

:kernel_safe_sup, :standard_error, :global_group, :error_logger, 
:elixir_counter, :counter, :elixir_code_server, :erl_prim_loader, 
:elixir_sup, 

:rex, :inet_db] 


可 以 看 到 虚拟 机 在 局 动 时 已 经 命名 了 很 多 基本 进程 。 之 前 使 用 send() 
畏 数 时 ， 其 参数 是 进程 变量 ， 现 在 也 可 以 使 用 进程 名 称 : 


iex(6)> 


send(:counter, {:next, self(), make_ref()}) 


{:next, #PID<0.45.0>, #Reference<0.0.0.107>} 
iex(7)> 


receive do msg -> msg end 


{:ok, #Reference<0.0.0.107>, 43} 


继续 简化 Counter 的 API， 使 其 不 再 使 用 进程 变量 作为 参数 : 


Actors/counter/counter3.ex 


def 


start(count) do 


pid = spawn(__MODULE__, :loop, [count]) 
> Process.register(pid, :counter) 


pid 
end 


def 
next do 


ref = make_ref() 


> send(:counter, {:next, self(), ref}) 
receive do 


{:ok, Aref, count} -> count 
end 


end 


来 验证 一 下 : 
iex(1)> 


Counter.start(42) 


#PID<0.47.0> 
iex(2)> 


Counter .next 


SRN FUER o FEMI TAR, RI RI DLT A 
识 来 构造 一 个 并 行 map 函 数 ， 类 似 于 Clojure 的 pmap ° 


茶 鞭 一 BBE SS — FET RR 


S Ara mesa Ss IE, Elixir PAKES ALA LARK 
re Bee, MEK AES, 与 数据 没什么 区 别 。 举 例 说 明 ， 
用 iex 展示 一 下 如 何 将 匿名 函数 作为 参数 传 给 Enum ,map ， 使 数组 中 
每 个 元 素 增 倍 : 


iex(1)> 


Enum.map([1, 2, 3, 4], fn(x) -> x * 2 end) 


[2, 4, 6, 8] 


类 似 于 Clojure 的 #(,.. ) 宏 ，Elixir 也 提供 了 定义 匿名 函数 的 快捷 方式 & 
(...): 
iex(2)> 
Enum.map([1, 2, 3, 4], &(&1 * 2)) 
[2, 4, 6, 8] 
iex(3)> 


Enum.reduce([1, 2, 3, 4], 0, &(&1 + &2)) 


10 


a ERA rE BI] P—“S eb, TAH. 操作 符 来 调用 该 变量 代表 的 
HŽ 


iex(4)> 


double = &(&1 * 2) 


#Function<erl_ eval.6.80484245> 
iex(5)> 


double. (3) 


再 来 看 一 个 返回 函数 的 函数 : 


iex(6)> 


twice = fn(fun) -> fn(x) -> fun.(fun.(x)) end end 


#Function<erl_ eval.6.80484245> 
iex(7)> 


twice. (double) . (3) 


12 


现在 已 经 准备 好 了 创建 并 行 map() 的 所 有 工具 ， 只 剩 下 组 装 了 。 
并 行 map 画 数 

之 前 已 经 用 过 了 Elixir 提 供 的 map() 函数 ， 它 可 以 对 一 个 集合 施加 映射 
RE 。 下 面 我 们 将 其 改造 成 能 并 行 处 理 集合 的 每 
DILA: 


Actors/parallel/parallel.ex 


defmodule 


Parallel do 


def 


map(collection, fun) do 


parent = self() 


processes = Enum.map(collection, fn 


spawn_link(fn 


send(parent, {self(), fun.(e)}) 


end) 
end) 
Enum.map(processes, fn 
(pid) -> 


receive do 


{Apid, result} -> result 
end 


end) 


end 


end 


这 段 代 码 分 为 两 个 阶段 。 第 一 阶段 ， 为 集合 的 每 个 元 素 创 建 一 个 进程 

(如 果 集 合 有 1000 个 元 素 ， 将 创建 1000 个 进程 ) 。 每 个 进程 对 相应 元 
素 施加 fun 函数 ， 并 向 发 送 消 恩 的 父 进程 回复 施加 画 数 的 结 末 。 第 二 
阶段 ， 父 进程 等 每 所 有 子 进程 的 结 来 。 


来 验证 一 下 : 


iex(1)> 


slow_double = fn(x) -> :timer.sleep(1000); x * 2 end 


#Function<6.80484245 in :erl_eval.expr/5> 
iex(2)> 


:timer.tc(fn() -> Enum.map([1, 2, 3, 4], slow_double) end) 


{4003414, [2, 4, 6, 8]} 
iex(3)> 


:timer.tc(fn() -> Parallel.map([1, 2, 3, 4], slow_double) end) 


{1001131, [2, 4, 6, 8]} 


这 段 代 码 用 到 了 :timer,tc() AX, HSB 数 的 运行 时 间 进 行 统 
计 ， 并 返回 一 个 二 元 组 ， 第 一 个 元 素 是 运行 时 间 ， 第 二 个 元 素 是 参数 
返回 值 。 可 以 看 到 串 行 版 本 运行 了 4 秒 ， 而 并 行 版 本 运行 了 1 

第 一 天 总 结 


第 一 天 的 学 习 结束 了 。 第 二 天 我 们 将 学 习 actor 模 型 的 错误 处 理 和 容 氏 


第 一 天 我 们 学 到 了 什么 


多 个 actor ae AY UEBST > ASE SIRAS > BIE TRL ea eH 2c 
送 消息 来 进行 通信 。 本 章 中 我 们 学 习 如 何 实现 下 列 任务 : 


。 用 spawn( ) 创建 新 进程 ; 

。 用 send() Inde ARIE A; 

。 通过 模式 匹配 来 处 理 消息 ; 

。 连接 两 个 进程 ， 当 一 个 进程 结束 时 ， 男 一 个 进程 将 接收 到 通知 ; 
。 在 异步 通信 的 基础 上 ， 实 现 双向 的 同步 通信 


。 阅读 Elixir 的 函数 库 文 档 。 


。 观看 Erik Meijer ` Clemens Szyperski 和 Carl Hewitt 在 Lang.NEXT 
2012 上 天 于 actor 模 型 的 对 话 视 频 。 


测量 在 Erlang 虚 拟 机 上 创建 一 个 进程 的 成 本 ， 且 与 在 JVM 上 创建 一 
个 线程 的 成 本 进行 比较 。 


测量 之 前 的 并 行 map 函 数 的 成 本 ， 且 与 串 行 map 函 数 的 成 本 进行 比 
较 。 何 时 应 使 用 并 行 map 函 数 ， 何 时 应 使 用 串 行 map 函 数 ? 


参考 之 前 的 并 行 map 函 数 ， 写 一 个 并 行 reduce 函 数 。 


5.3 BOR: 错误 处 理 和 容错 性 


在 1.3 让 已 提 到 过 : 并 发 很 重要 的 一 个 特性 是 并 发 代码 具有 容错 性 。 今 
天 束 来 学 习 actor 模 型 提供 的 容错 性 。 

不 过 首先 要 利用 昨天 的 知识 创建 一 个 较 复 洒 的 贴近 现实 的 例子 ， 之 后 
的 讨论 将 在 此 基础 上 进行 。 


= 缓存 actor 


本 节 将 创建 一 个 网 页 缓存 ， 向 缓存 添加 页 面 时 ， 需 提供 URL 以 及 页 面 
文本 ;向 缓存 请 求 页 面 时 ， 需 提供 URL;， 也 可 以 查看 缓存 一 共 包 含 了 
多 少 个 字 节 。 


了 URL 到 页 面 的 映射 。 与 Clojure 的 


我 们 需要 一 个 字典 ， 这 个 字典 包含 
典 是 一 个 关联 型 的 持久 数据 结构 : 


map 类 似 ，Elixir 的 字 


iex(1)> 


d = HashDict.new 


#HashDict<[ ]> 
iex(2)> 
di = Dict.put(d, :a, "A value for a") 


#HashDict<[a: "A value for a"]> 
iex(3)> 


d2 = Dict.put(d1, :b, "A value for b") 


#HashDict<[a: "A value for a", b: "A value for b"]|> 
iex(4)> 


d2[:a] 
"A value for a" 


使 用 HashDict.new 可 以 创建 新 的 字典 ， 使 用 Dict.put(dict， 
key, value) 可 以 向 其 中 添加 元 素 ， 使 用 dict[key] 可 以 从 其 中 查 
找 元 素 。 


利用 字典 可 以 实现 缓存 : 


Actors/cache/cache.ex 


Line 1 defmodule 


Cache do 


- def 


loop(pages, size) do 
- receive do 


- {:put, url, page} -> 
5 new_pages = Dict.put(pages, url, page) 
new_size = size + byte_size(page) 

- loop(new_pages, new_size) 

- {:get, sender, ref, url} -> 

- send(sender, {:ok, ref, pages[url]}) 
10 loop(pages, size) 

- {:size, sender, ref} -> 

- send(sender, {:ok, ref, size}) 

- loop(pages, size) 

- {:terminate} -> # 终止 信号 - 终止 递归 


pO 


这 个 缓存 维护 了 两 个 状态 :， pages 和 size ° pages 是 将 URL 映射 到 
页 面 的 字典 ; size 是 当前 缓存 的 所 有 字 节 数 (在 第 6 行 由 
byte_size() 更 新 ) 。 


与 之 前 一 样 ， 我 们 仍 用 API 来 隐藏 创建 进程 和 发 送 消息 的 细 市 。 下 面 的 
代码 用 于 创建 start_1link( ) KZ: 


Actors/cache/cache.ex 


def 


start_link do 


pid = spawn_link(__MODULE__, :loop, [HashDict.new, 0]) 


Process.register(pid, :cache) 
pid 
end 


这 段 代码 用 空 字典 和 9 作为 1oop() 的 初始 值 ， 并 将 进程 命名 
为 :cache。 下 面 的 代码 用 于 创建 put() `get() `size() 和 
terminate() 函数 : 


Actors/cache/cache.ex 


def 


put(url, page) do 


send(:cache, {:put, url, page}) 
d 


get(url) do 


ref = make_ref() 


send(:cache, {:get, self(), ref, url}) 
receive do 


{:ok, Aref, page} -> page 
end 


size do 


ref = make_ref() 


send(:cache, {:size, self(), ref}) 
receive do 


{:ok, ref, s} -> s 
end 


terminate do 


send(:cache, {:terminate}) 
end 


put() 和 terminate() 函数 只 是 简单 地 将 参数 包装 在 元 组 中 ， 并 将 
元 组 作为 消息 发 送 。 而 get() 和 size( ) 函数 比较 复杂 ， 因 为 它们 需 


要 等 得 一 个 消 恩 的 回复 。 本 例 中 ， 这 两 个 芳 数 部 在 消 恩 中 市 有 唯一 引 
用 ， 正 如 我 们 昨天 学 过 的 那样 。 


来 运行 一 下 这 个 actor: 


iex(1)> 


Cache.start_link 


#PID<0.47.0> 


iex(2)> 

Cache. put("google.com", "Welcome to Google ...") 
{:put, "google.com", "Welcome to Google ..."} 
iex(3)> 


Cache. get ("google.com") 


"Welcome to Google ..." 
iex(4)> 


Cache.size() 


21 


一 切 顺 利 一 一 现在 已 经 可 以 癌 缓 存 中 添加 数据 、 取 出 数据 ， 还 能 查看 
缓存 的 大 小 。 


如 果 使 用 一 些 非 法 参数 呢 ? 比如 使 用 nil 作为 页 面 : 
iex(5)> 


Cache. put("paulbutcher.com", nil) 


{:put, "paulbutcher.com", nil} 
iex(6)> 


=ERROR REPORT==== 22-Aug-2013: :16:18:41 === 
Error in process <@.47.0> with exit value: {badarg, 
[{erlang, byte_size, [nil],[]} ... 


** (EXIT from #PID<0.47.0>) {:badarg, [{:erlang, :byte_size, [nil], 
Cl}, 


不 出 所 料 ， 因 为 没有 检查 参数 ， 所 以 这 次 运行 失败 了 。 在 大 多 数 语言 
中 ， 唯 一 的 处 理 方法 是 添加 一 些 检查 参数 的 代码 ， 当 检查 到 非法 参数 
时 报错 。Elixir 提 供 了 另 一 种 方法 一 一 将 错误 处 理 隔离 到 一 个 管理 进程 


中 。 这 个 方法 看 似 简 单 ， 却 是 一 个 很 大 的 改进 ， 使 代码 更 简洁 、 更 具 
维护 性 ， 也 更 可 靠 。 


在 学 习 如 何 写 管 理 进程 之 前 ， 必 须 详 细 了 解 进 程 之 间 的 连接 。 


错误 检测 


在 5.2 节 中 ， 我 们 用 spawn_1link( ) 建立 两 个 进程 之 间 的 连接 ， 这 样 就 
可 以 检测 到 某 一 个 进程 的 终止 。 连 接 是 Elixir 编 程 中 最 重要 的 概念 之 一 
现在 就 来 深入 了 解 。 

进程 的 异常 终止 通过 连接 进行 传播 

任何 时 候 都 可 以 用 Process ,link( ) 在 两 个 进程 之 间 建 立 连接 。 下 面 
定义 一 个 简单 的 actor， 用 来 讨论 连接 的 原理 : 


Actors/links/links.ex 


defmodule 


LinkTest do 


def 


loop do 


receive do 


{:exit_because, reason} -> exit 
(reason) 
{:link_to, pid} -> Process.link(pid) 
{:EXIT, pid, reason} -> 10.puts("#{inspect (pid) 


} exited because #{reason} 


end 


现在 创建 这 个 actor 的 两 个 实例 ， 将 这 两 个 进程 连接 起 来 ， 并 让 其 中 一 
SBA IE: 


iex(1)> 


pidi = spawn(&LinkTest.loop/0) 


#PID<0.47.0> 
iex(2)> 


pid2 = spawn(&LinkTest.loop/0) 


#PID<0.49.0> 
iex(3)> 


send(pid1, {:link_to, pid2}) 
{:link_to, #PID<0.49.0>} 
iex(4)> 


send(pid2, {:exit_because, :bad_thing_happened}) 


{:exit_because, :bad_thing_happened} 


IX BCS SS BIE T actor TSS, KRABI E Bll pidt 
和 pid2 。 然 后 创建 从 pid1 到 pid2 的 连接 。 最 后 让 pid2 的 进程 异常 
终止 。 


pid1 本 应 打印 pid2 异常 终止 的 原因 ， 但 我 们 注意 到 pid1 并 没有 输 
出 ， 原 因 是 没有 设置 :trap_exit 。 另 外 ， 如 果 用 Process,info() 
查看 两 个 进程 的 状态 ,会 看 到 以 下 现象 : 


iex(5)> 


Process.info(pid2, :status) 


nil 
iex(6)> 


Process.info(pidi, :status) 


nil 


这 样 一 来 不 只 是 pid2 终止 ， 而 古 两 个 进程 都 终止 了 。 我 们 先 来 做 男 一 
个 试验 ， 再 来 学 习 如 何 修复 这 个 问题 。 


连接 是 双 疝 的 


如 果 重 复 上 面 的 试验 ， 让 pid1 终止 ， 束 会 看 到 同样 的 结果 一 一 两 个 进 
程 都 终止 了 : 


iex(1)> 


pidi = spawn(&LinkTest.loop/0) 
#PID<0.47.0> 
iex(2)> 

pid2 = spawn(&LinkTest.loop/0) 
#PID<0.49.0> 
iex(3)> 

send(pidi, {:link_to, pid2}) 
{:link_to, #PID<0.49.0>} 
iex(4)> 


send(pidi, {:exit_because, :another_bad_thing_happened}) 


{:exit_because, :another_bad_thing_happened} 
iex(5)> 


Process.info(pidi, :status) 


nil 
iex(6)> 


Process.info(pid2, :status) 


nil 


可 见 连接 是 双向 的 。 建 立 了 从 pid1 到 pid2 的 连接 的 同时 ， 也 就 建立 
了 从 pid2 到 pid1 的 连接 一 一 所 以 如 果 其 中 一 个 进程 终止 ， 那 么 两 个 
FEMEIE T ° 


正常 终止 


如 果 堂 试 让 已 经 连接 的 一 个 进程 正常 终止 (用 :normal 这 个 理由 退出 
进程 ) ， 会 观察 到 以 下 现象 : 


iex(1)> 


pidi = spawn(&LinkTest.loop/0) 
#PID<0.47.0> 
iex(2)> 

pid2 = spawn(&LinkTest.loop/0) 
#PID<0.49.0> 
iex(3)> 

send(pidi, {:link_to, pid2}) 
{:link_to, #PID<0.49.0>} 
iex(4)> 

send(pid2, {:exit_because, :normal}) 
{:exit_because, :normal} 
iex(5)> 

Process.info(pid2, :status) 


nil 
iex(6)> 


Process.info(pidi, :status) 


{:status, :waiting} 


可 见 进程 正常 终止 是 不 会 让 连接 的 另 一 个 进程 终止 的 。 
系统 进程 


通过 设置 进程 的 :trap_exit 标识 ， 可 以 让 一 个 进程 捕获 另 一 个 进程 
的 终止 消息 。 用 专业 术语 来 说 ， 这 是 将 进程 转化 为 系统 进程 : 


Actors/links/links.ex 


def 


loop_system do 


Process.flag(:trap_exit, true 


来 测试 一 下 : 


iex(1)> 


pid1 = spawn(&LinkTest.loop_system/0) 
#PID<0.47.0> 
iex(2)> 

pid2 = spawn(&LinkTest.loop/0) 
#PID<0.49.0> 
iex(3)> 


send(pid1i, {:link_to, pid2}) 


{:link_to, #PID<0.49.0>} 
iex(4)> 


send(pid2, {:exit_because, :yet_another_bad_thing_happened}) 
{:exit_because, :yet_another_bad_thing_happened} 


#PID<0.49.0> exited because yet_another_bad_thing_happened 
iex(5)> 


Process.info(pid2, :status) 


nil 
iex(6)> 


Process.info(pidi, :status) 


{:status, :waiting} 


现在 ， 可 以 用 loop_system 启动 pid1 ° 4pid2 终止 时 ，pid1 会 得 
到 消息 (并 打印 退出 的 消息 ， ， 并 且 会 继续 运行 。 


管理 进程 


我 们 已 经 准备 好 实现 一 个 进程 管理 者 (也 就 是 一 个 系统 进程 ) ， 它 管 
理 着 若干 个 工作 进程 ， 当 工作 进程 裔 省 时 进行 干预 。 


下 面 的 代码 为 前 述 的 缓存 actor 创 建 一 个 管理 者 ， 当 缓存 进程 朋 误 时 ， 
管理 者 会 将 其 重 局 : 


Actors/cache/cache.ex 


defmodule 


CacheSupervisor do 


def 


start do 


Spawn(__MODULE__, :loop_system, []) 
end 


def 
loop do 


pid = Cache.start_link 
receive do 


{:EXIT, pid, :normal} -> 
I0.puts("Cache exited normally 


") 
:Ok 
{:EXIT, pid, reason} -> 
I0.puts("Cache failed with reason #{inspect reason} - 
restarting it 


") 
loop 
end 


end 


def 


loop_system do 


Process.flag(:trap_exit, true 


loop 
end 


end 


这 个 actor 将 自己 转化 为 系统 进程 ， 并 进入 loop( ) ° loop() 创建 了 


Cache .loop( ) 进程 ， 并 一 直 阻 塞 ， 直 到 所 创建 的 进程 终止 。 该 进程 
若是 正常 终止 ， 则 管理 者 也 正常 终止 (返回 :ok ) ， 否 则 Loop() 进 
行 递归 并 重新 创建 缓存 进程 。 


现在 不 必 直 接 局 动 Cache 实例 ， 而 是 局 动 CacheSupervisor ， 其 将 
负责 创建 Cache 实例 : 


iex(1)> 


CacheSupervisor.start 


#PID<0.47.0> 
iex(2)> 


Cache. put("google.com", "Welcome to Google ...") 


{:put, "google.com", "Welcome to Google ..."} 
iex(3)> 


Cache.size 


URRIA, BIS A OHA: 


iex(4)> 


Cache. put("paulbutcher.com", nil) 


{:put, "paulbutcher.com", nil} 
Cache failed with reason {:badarg, [{:erlang, :byte_size, [nil], 


[]}, -. 


iex(5)> 


=ERROR REPORT==== 22-Aug-2013: :17:49:24 === 
Error in process <@.48.0> with exit value: {badarg, 
[{erlang, byte_size, [nil], []}, 
iex(5)> 
Cache.size 
0 
iex(6)> 


Cache. put("google.com", "Welcome to Google ...") 


{:put, "google.com", "Welcome to Google ..."} 
iex(7)> 


Cache. get ("google.com") 


"Welcome to Google ..." 


HORS AF AT BUNS EA Z HARA, (BSE TSU AT 
以 继续 使 用 的 缓存 。 


超时 


将 缓存 自动 重启 是 个 不 错 的 方法 ， 但 并 不 是 万 能 药 。 如 果 两 个 进程 同 
时 向 缓存 发 送 消息 ， 下 面 这 些 事件 会 依次 发 生 : 


. 进程 1 同 缓存 发 送 : put AAA; 

2. 进程 2 向 缓存 发 送 : get 消息 ; 

3. 缓存 在 处 理 进 程 1 的 消息 时 月 江 了 ; 

4. 管理 者 将 缓存 重启 ， 但 进程 2 的 消息 丢失 了 ; 


5. 进程 2 在 receive 处 陷入 死 锁 ， 一 直 在 等 竺 消息 的 回复 ， 但 这 个 回 
复 永 远 不 会 发 送 。 


我 们 可 以 用 after 语句 来 为 receive 增加 超时 机 制 ， 这 需要 修改 一 下 
get() (size() 函数 也 需要 同样 的 修改 ) : 


=. 


Actors/cache/cache2.ex 


def 


get(url) do 


ref = make_ref() 
send(:cache, {:get, self(), ref, url}) 
receive do 


{:ok, Aref, page} -> page 
> after 


1000 -> nil 


小 乔 爱 问 : 
消息 是 否 保证 能 被 送 达 ? 
造成 上 面 现象 的 主要 原因 是 绥 存 重启 时 消 恩 丢失 了 ， 这 束 率 扯 到 


Elixir 是 否 能 确保 消 居 一定 能 被 送 达 并 人 被 处 


一 个 很 重要 的 问题 
pn? 


Elixir 有 两 个 规则 : 
。 如 果 没 有 异常 发 生 ， 消 息 一 定 能 被 送 达 并 被 处 理 ; 


。 如 果 某 个 环节 出 现 异 常 ， 异 常 一 定 会 通知 到 使 用 者 (假设 使 
用 者 已 经 连接 到 或 正在 管理 发 生 异常 的 进程 ) 


第 二 条 规则 是 Elixir 提 供 容 错 性 的 基石 。 
错误 处 理 内 核 (error-Kernel) 模式 


Tony Hoare f — JZ F? ° 


3 http://z00.cs.yale.edu/classes/cs422/2011/bib/hoare81emperor.pdf 


软件 设计 有 两 种 方式 ， 一 种 方式 是 ， 使 软件 过 于 简单 ， 明 显 地 没 
有 缺陷 ;天 一 种 方式 是 ， 使 软件 过 于 复杂 ， 没 有 明显 的 缺陷 。 


oe ey 错误 处 理 内 核 模式 ， 在 两 者 之 间 找到 了 
平衡 。 


一 个 软件 系统 如 采 应 用 了 鱼 误 处 理 内 核 模式 ， 那 么 该 系统 正确 运行 的 
前 提 是 其 错误 处 理 内 核 必须 正确 运行 。 成熟 的 程序 通常 使 用 尽 可 能 小 
而 简单 的 错误 处 理 内 核 一 一 小 而 简单 到 明显 地 没有 缺陷 。 


对 于 一 个 使 用 actor 模 型 的 程序 ， 其 错误 处 理 内 核 是 顶层 的 管理 者 ， 管 
理 着 子 进 程 一 对 子 进程 进行 启动、 停止 、 重 启 等 操作 。 


程序 的 每 个 模块 都 有 自己 的 错误 处 理 内 核 一 一 模块 正确 运行 的 前 提 是 
其 错误 处 理 内 核 必须 正确 运行 。 子 模块 也 会 有 目 己 的 错误 处 理 内 核 ， 
以 此 类 推 。 这 束 构 成 了 错误 处 理 内 核 的 层级 树 ， 较 危险 的 操作 都 会 被 
下 放 给 底层 的 actor 执 行 ， 如 图 5-2 所 示 。 


风险 递增 


图 5-2 错误 处 理 的 层级 树 

错误 处 理 内 核 模 式 主要 解决 了 防御 式 编 程 中 碰 到 的 一 些 环 手 问题 。 
FER ART 

防御 式 编程 主要 通过 预言 可 能 出 现 的 缺陷 来 实现 容错 性 。 举 例 说 明 ， 


假设 有 一 个 范 数 ， 其 接受 一 个 字符 串 ， 当 字符 串 全 是 大 写 时 返回 true 
， 人 否则 返回 false 。 先 草拟 一 个 版 本 : 


def 


all_upper?(s) do 


String.upcase(s) == s 
end 


看 上 去 不 错 ， 但 如 琳 传 入 nil 作为 参数 ， 这 段 代 码 将 月 省 。 为 了 解决 
这 个 问题 ， 有 些 程序 员 就 对 其 进行 了 如 下 修改 : 


defmodule 


Upper do 


def 


all_upper?(s) do 


cond do 


nil?(s) -> false 


true 


-> String.upcase(s) == s 
end 


INE FALE nil EASA, ER RS HAS, (LOA AE 
不 按 套路 出 牌 的 参数 呢 (比如 一 个 关键 字 ) ? 使 用 nil 作为 参数 对 这 
个 函数 是 否 真 的 有 意义 ? 这 样 修改 代码 很 有 可 能 会 引发 一 个 缺陷 一 一 


只 是 我 们 暂时 隐藏 了 这 个 缺陷 ， 之 后 也 很 难 意 识 到 其 存在 ， 但 总 有 一 
天 它 会 跳 起 来 咬 我 们 一 口 。 


nen as HAE TO Sate, Mea ER ae A 
， 让 actor 的 管理 者 来 处 理 这 些 问题 。 这 样 做 有 几 个 好 处 ， 比 如: 


代码 会 变 得 更 加 位 涪 且 容易 理解 ， 可 以 清晰 区 分 出 “一 帆 风 顺 ” 的 
代码 和 容错 代码 ; 


多 个 actor 之 间 是 相互 独立 的 ， 并 不 共享 状态 ， 因 此 一 个 actor 的 月 
泪 不 太 会 珊 及 到 其 他 actor。 尤 其 重要 的 是 一 个 actor 的 朋 溃 不 会 影 
啊 到 其 管理 者 ， 这 样 管理 者 才能 正确 处 理 此 次 怖 演 ; 


旧 理 者 也 可 以 选择 不 外 理 朋 证 ， Mei AAR A, RRB 
WALZ Fe Bl) BS IES AL Fa fT Ja NE o 


虽然 第 一 眼看 上 去 “ 任 其 朋 溃 ”的 哲学 有 点 奇怪 ， 但 它 和 销 误 处 理 内 核 
模式 都 在 产品 环境 上 反复 进行 过 验证 。 一 些 系统 的 可 用 性 据说 提高 到 
799.9999999% (9 个 9， 参 见 Programming Erlang: Software for a 
Concurrent World [Arm13]4 ) 


4 该 书 中 文 版 《Erlang 程 序 设 计 〈 第 2 版 ) 》 已 由 人 民 由 
http://www.ituring.com.cn/book/1264 ° 编者 注 


第 二 天 总 结 


我 们 第 一 天 学 习 了 actor 模 型 的 基础 知识 ， 第 二 天 学 习 了 actor 模 型 如 何 
进行 容错 。 第 三 天 将 学 习 如 何 用 actor 模 型 进行 分 布 式 编程 。 


第 二 天 我 们 学 到 了 什么 
Elixir 通 过 创建 管理 者 并 使 用 进程 的 连接 来 进行 容错 : 


。 9 那么 进程 b 也 连接 到 进 
a; 


。 连接 可 以 传递 错误 一 一 如 朱 两 个 进程 已 经 连接 ， 其 中 一 个 进程 异 
常 终止 那么 男 一 个 进程 也 会 异 肖 终止 ; 


TN 


出 版 社 出 版 : 


。 如 采 进 程 家 转化 成 系统 进程 ， 当 其 连接 的 进程 异 单 终止 时 ， 系 统 
进程 不 会 终止 ， 而 是 会 收 到 :EXIT IKE ° 


第 二 天 目 习 
查找 


阅读 Process ,monitor() 的 相关 文档 一 一 管理 一 个 进程 与 连接 
一 个 进程 有 什么 区 别 ? 何 时 使 用 管理 ， 何 时 使 用 连接 ? 


Elixir 是 如 何 进 行 异常 处 理 的 ? 何 时 应 该 使 用 异种 处 理 ， 而 不 使 用 
‘er EL AEE A Yon” a SADE? 


实践 


e receive 块 中 ， 如 来 一 个 消 恩 没 法 匹配 到 任何 模式 ， 将 会 修 留 
在 进程 的 信箱 中 。 利 用 这 个 特性 和 超时 特性 ， 实 现 一 个 有 优先 级 
的 信箱 ， 即 使 低 优先 级 的 消息 可 能 比 高 优先 级 的 消息 更 早 地 被 接 
收 ， 但 高 优先 级 的 消息 会 比 低 优先 级 的 消息 更 早 地 被 处 理 。 


。 改进 今天 开篇 介绍 的 缓存 actor， 根 据 hash 函 数 将 绥 存 元 素 分 配 到 多 
个 actor 中 。 创 建 一 个 管理 actor， 其 负责 创建 多 个 工作 actor， 并 将 
消息 转发 给 对 应 的 工作 actor。 如 果 一 个 工作 actor 朋 各， 管理 actor 
应 该 怎么 办 ? 


54 第 三 天 : 分 布 式 


到 目前 为 止 我 们 学 习 的 所 有 知识 部 只 文 持 一 台 计 算 机 ， 相 比 于 已 经 学 
习 过 的 并 发 模型 ，actor 模 型 的 一 个 很 大 的 优点 是 其 文 持 分 布 式 一 一 它 
人 男 一 台 计 算 机 上 的 actor， 就 像 发 送 到 本 地 计算 机 上 
Jactor 


讨论 分 布 式 之 前 ， 要 了 解 Elixit 提 供 的 一 个 强大 的 工具 一 OTP 。 


OTP 


过 去 两 大， 我 们 都 在 用 “原始 ”的 Elixir 进 行 演 示 。 这 有 利于 我 们 理解 其 
运行 机 制 ， 但 如 采用 原始 的 方式 创建 每 一 个 工作 进程 和 管理 者 ， 那 就 


会 变 得 非常 无 趣 且 容易 出 鲁 。 讲 到 这 里 你 肯定 猜 到 了 我 们 将 要 介绍 一 
个 能 解决 这 个 问题 的 库 一 一 OTP 。 


小 乔 爱 问 : 

OTP 代 表 了 什么 ? 

缩写 单词 通常 只 为 自己 代言 。IBM 字 面 上 是 International Business 
Machines 的 缩写 ， 但 对 于 大 多 数 人 来 说 IJBM 了 就 是 IBM: 缩写 就 是 约 


定 俗 成 的 名 称 。 类 似 地 ，BBC 也 不 再 是 British Broadcasting 
Corporation 的 缩写 ，OTP 也 不 再 是 Open Telecom Platform 的 缩写 。 


Erlang (包括 Elixir) 最 初 是 从 电信 业 发 展 起 来 的 ， 许 多 Erlang 的 最 
丰 实 践 都 被 收录 到 了 了 OTP 中。 但 OTP 不 是 电信 业 专 用 的 ，OTP 就 是 
OTP 。 


在 学 习 OTP 之 前 ， 先 来 看 看 在 Elixir 中 画 数 与 模式 匹配 是 如 何 交互 的 。 
图 数 与 模式 匹配 
之 前 我 们 仅 在 介绍 receive 块 时 提 到 过 模式 匹配 ， 然 而 在 Elixir 中 模式 


匹配 随处 可 见 。 值 得 强调 的 古 ， 每 次 调用 函数 时 ， 其 实 者 在 进行 模式 
匹配 。 用 一 个 位 单 的 钞 数 来 举例 : 


Actors/patterns/patterns.ex 


defmodule 


Patterns do 


def 


foo({x, y}) do 


IO.puts("Got a pair, first element #{x}, second #{y} 


pO 


这 段 代 码 定 义 了 一 个 函数 ， 其 接受 一 个 参数 ， 并 用 模式 {Xx，y} 匹配 这 
个 参数 。 如 果 用 一 个 二 元 组 进行 匹配 那么 二 元 组 的 第 一 个 元 素 会 绑 
定 到 x 上 ， 第 二 个 元 素 会 绑 定 到 y 上 


iex(1)> 


Patterns. foo({:a, 42}) 


Got a pair, first element a, second 42 
:Ok 


如 果 用 一 个 不 匹配 的 参数 进行 调用 ， 将 会 得 到 一 个 错误 : 
iex(2)> 


Patterns. foo("something else") 


** (FunctionClauseError) no function clause matching in 
Patterns.foo/1 
patterns.ex:3: Patterns.foo("something else") 
erl_eval.er1:569: :erl_eval.do_apply/6 
src/elixir.erl:147: :elixir.eval_forms/3 


根据 需要 可 以 为 一 个 函数 添加 多 个 不 同 的 定义 : 
Actors/patterns/patterns.ex 
def 


foo({x, y, z}) do 


I0.puts("Got a triple: #{x}, #{y}, #{z} 


end 


Val FALE, jE BC AY ER ICRF BT 


iex(2)> 


Patterns. foo({:a, 42, "yahoo"}) 


Got a triple: a, 42, yahoo 
:ok 
iex(3)> 


Patterns. foo({:x, :y}) 


Got a pair, first element x, second y 
:Ok 


下 面 将 使 用 OTP 实 现 一 个 服务 器 ， 其 中 也 用 到 了 这 个 技术 。 

用 GenServer 重 新 实现 缓存 

现在 学 习 OTP 的 一 个 组 件 : GenServer。GenServer 是 一 个 行为 
(behaviour) ， 可 以 用 来 目 动 创建 一 个 有 状态 的 actor。 我 们 就 来 利用 

这 个 组 件 重新 实现 昨天 的 缓存 。 


你 可 能 觉得 behaviour 这 种 拼写 有 点 怪 ， 它 来 源 于 Erlang， 而 Erlang 用 的 
是 瑞 式 拼写 。 我 们 整 入 乡 随 俗 沿用 这 种 拼写 。 


这 里 所 说 的 “行为 ”非常 类 似 于 Java 中 的 接口 一 一 其 定义 了 一 个 函数 集 。 
模块 使 用 use 来 声明 上 自己 实现 了 行为 : 


Actors/cache/cache3.ex 


defmodule 


Cache do 


> use 


GenServer .Behaviour 
def 


handle_cast({:put, url, page}, {pages, size}) do 


new_pages = Dict.put(pages, url, page) 


new_size = size + byte_size(page) 
{:noreply, {new_pages, new_size}} 
end 


def 


handle_call({:get, url}, _from, {pages, size}) do 


{:reply, pages[url], {pages, size}} 
end 


def 
handle_call({:size}, _from, {pages, size}) do 


{:reply, size, {pages, size}} 
end 


end 


这 段 代码 中 Cache 声明 目 己 实现 了 一 个 行为 
(GenServer .Behaviour ) 和 两 个 函数 (handle_cast() 和 


handle_call()) ° 


handle_cast() A] LAMMSHYA SAFE AGI SAL o He TSR: 
Wel AEs actor 的 当前 状态 。 返 回 值 是 一 个 二 元 组 {:noreply， 
new_state} 。 本 例 中 实现 了 一 个 handle_cast( ) 来 处 理 :put 消 


fo} 
JON 


handle_call() 可 以 处 理 消 息 且 回复 消息 。 其 接受 三 个 参数 : 收 到 
的 消 轧 、 发 送 者 标识 、actor 的 当前 状态 。 返 回 值 是 一 个 三 元 组 
{:reply，reply_value，new_state}。 本 例 中 实现 了 两 个 
handle_call( ) ,一 个 负责 处 理 :get 消息 ， 另 一 个 负责 处 理 :size 
消息 。 类 似 于 Clojure，Elixir 用 下 划 线 C) 开头 的 变量 名 来 表示 该 变 
量 不 被 使 用 一 一 比如 _from 。 


按照 惯例 仍 会 提供 一 些 便 于 使 用 的 API: 


Actors/cache/cache3.ex 


def 


start_link do 


:gen_server.start_link({:local, 


{HashDict.new, 0}, []) 
end 


def 


put(url, page) do 


:gen_server.cast(:cache, {:put, 


end 


def 


get(url) do 


:gen_server.call(:cache, {:get, 


end 


def 


size do 


:cache}, _ MODULE , 


url, page}) 


url}) 


:gen_server.call(:cache, {:size}) 


end 


这 段 代码 使 用 了 :gen_server ,start_lLink() 替换 spawn_1link() 
， 使 用 :gen_server ，cast() 发 送 一 个 不 需要 回复 的 消息 ， 使 
用 :gen_server .call( ) 发 送 一 个 需要 回复 的 消息 。 


接 下 来 ， 用 OTP 创 建 一 个 管理 者 。 

OTP 管 理 者 

这 是 一 个 用 OTP 管 理 者 行为 来 实现 的 缓存 管理 者 : 
Actors/cache/cache3.ex 

defmodule 


CacheSupervisor do 


def 


init(_args) do 


workers = [worker(Cache, [])] 
supervise(workers, strategy: :one_for_one) 
d 


进程 启动 时 会 调用 init() 函数 。 其 接受 一 个 参数 (本 例 中 没有 使 用 这 
个 参数 ) ， 创 建 一 些 工作 进程 并 将 其 管理 起 来 。 本 例 中 创建 了 一 个 
Cache 进程 ， 并 使 用 one -for-one 重启 策略 来 管理 该 进程 。 


小 乔 爱 问 : 
什么 是 重启 策略 ? 
OTP 管 理 者 行为 支持 多 种 不 同 的 重启 策略 ， 最 常用 的 是 one-for-all 


和 one-forone。 
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启 所 有 工作 进程 “包括 那些 没有 裔 省 的 工作 进程 ) 。 使 用 one-for- 
one 策 上 略 的 管理 者 仅 重 局 已 经 朋 江 的 工作 进程 。 


还 有 许多 其 他 的 策略 ， 不 过 这 两 种 已 经 可 以 应 对 大 部 分 场景 了 。 
按照 惯例 ， 提 供 易 用 的 API: 
Actors/cache/cache3.ex 


def 


start_link do 


:Supervisor.start_link(__MODULE_, []) 
en 


你 可 以 自行 验证 一 下 缓存 和 管理 者 是 否 能 正常 工作 ， 在 昨天 的 学 习 中 
进行 过 类 似 的 验证 ， 此 处 不 再 袭 迹 。 


小 乔 爱 问 : 
OTP 还 能 做 什么 ? 


正如 以 上 的 代码 所 示 ，OTP 可 以 帮 我 们 省 去 一 些 无 聊 的 代码 。 此 
外 它 还 提供 了 更 多 的 好 处 ， 这 些 好 处 在 之 前 的 例子 中 不 是 那么 明 
显 。 比 起 之 前 创建 的 简单 版 本 ， 用 OTP 实 现 的 服务 器 和 管理 者 有 
着 更 多 的 功能 ， 其 中 包括 以 下 儿 点 。 


更 好 的 重 局 逻辑 : 之 前 我 们 自己 实现 的 简单 管理 者 使 用 非常 草率 
的 重 局 策略 一 一 如 采 工 作 线 程 朋 总， 束 将 其 重 局。 如 果 工 作 线程 
在 局 动 时 很 快 丈 衣 各， 那么 管理 者 会 一 直 重 启 工 作 线程 。 而 OTP 
提供 的 管理 者 可 以 设 定 最 大 重 局 频率 ， 如 条 重 局 超 过 这 个 频率 ， 
EHER EIE ° 


调试 与 日 志 ， 通 过 调整 OTP 服 务 器 的 参数 ， 可 以 开启 调试 和 日 志 
功能 ， 这 对 开发 很 重要 。 


代码 热 升级 : OTP 服务 器 不 需要 停止 整个 系统 束 可 以 进行 升级 。 
还 有 许多 : 发 布 管理 、 故 障 切 换 、 自 动 扩 容 ， 等 等 。 


本 书 不 会 详细 介绍 这 些 特性 。 在 大 部 分 场景 中 可 以 直接 使 用 这 些 
特性 ， 而 不 建议 自己 造 轮子 。 


TA 


每 创建 一 个 Erlang 虚 拟 机 实例 ， 就 相当 于 创建 了 一 个 节点 。 之 前 的 例 
子 都 只 创建 了 一 个 节点 。 现 在 来 学 习 如 何 创建 和 连接 多 个 节点 。 


连接 (connect) 5 节点 


5 之 前 我 们 看 到 过 对 进程 的 连接 ， 其 指 的 是 1ink ; 此 处 的 连接 指 的 是 connect ， 这 两 个 概 
念 不 可 泥 清 。 译 者 注 


连接 两 个 节点 上 时， 必须 先 对 这 两 个 节点 命名 。 启 动 Erlang 虚 拟 机 时 可 以 
使 用 - -name 或 者 - -sname 选项 为 节点 命名 。 我 的 MacBook Pro 的 IP 是 
10.99.1.50 。 运 行 jex --sname node1@10.99.1.50 -- 
cookie yumyum ( 稍 后 会 解释 - -cookie 参数 ) ， 可 以 查看 节点 名 


JK: 


iex(node1@10.99.1.50)1> 


Node. self 


:"node1@10.99.1.50" 
iex(node1@10.99.1.50)2> 


Node. list 


[] 


使 用 Node ,self() 可 以 查看 下 点 名 称 ， 使 用 Node .1ist() 可 以 查看 
当前 节点 已 知 的 其 他 节点 列表 。 现 在 这 个 列表 是 空 的 ， 下 面 将 为 其 赋 
值 。 如 果 使 用 iex --sname node2@10.99.1.92 --cookie 
yumyum 在 另 一 台 计 算 机 (10.99.1.92) 上 运行 男 一 个 Erlang 虚 拟 
HL, FaNode.connect() 可 以 连接 该 节点 : 


iex(node1@10.99.1.50)3> 


Node.connect(:"node2@10.99.1.92") 


true 
iex(node1@10.99.1.50)4> 


Node. list 


[:"node2@10.99.1.92"] 


连 授 是 双 同 的 ， 第 二 台 计 算 机 也 知道 第 一 台 的 信息 : 
iex(node2@10.99.1.92)1> 


Node. list 


[:"node1@10.99.1.50"] 


小 乔 爱 问 : 

如 果 只 有 一 台 计 算 机 呢 ? 

如果 你 只 一 台 计算 机 ， 但 又 想 进 行 集群 试验 ， 那 有 以 下 几 种 先 
$. 


。 使 用 虚拟 机 ; 
。 使 用 Amazon EC2 或 者 类 似 的 云 服务 ; 
。 在 一 台 计 算 机 上 运行 多 个 节点 。 虽 然 这 种 方案 与 实际 环境 有 
些 偏差 ， 却 是 目前 最 简单 的 方案 。 如 果 你 对 如 何 配置 多 机 
环境 不 太 熟 悉 ， 这 种 方式 可 以 帮 你 避免 设置 防火 墙 和 配置 网 
络 等 麻烦 。 


远程 执行 


下 


iex(node1@10.99.1.50)5> 


whoami = fn() -> I0.puts(Node.self) end 


#Function<20.80484245 in :erl_eval.expr/5> 
iex(node1@10.99.1.50)6> 


Node. spawn(:"node2@10.99.1.92", whoami) 


#PID<8242.50.0> 
node2@10.99.1.92 


这 上段 看 似 简 单 的 代码 却 异 党 强大 一 一 一 个 节点 在 妨 一 个 节 扣 上 执行 代 
码 ， 而 且 执 行 的 结果 还 会 返回 给 第 一 个 节点 。 这 是 因为 于 进程 会 继承 
父 进程 的 组 长 (group leader) , 10.puts() 会 将 输出 发 送 给 组 长 。 
其 暗地里 进行 了 很 多 处 理 ! 
远程 消息 
如 你 所 料 ， 一 个 actor 可 以 回 另 一 台 计 算 机 的 actor 发 送 消 息 。 举 例 说 
明 ， 下 面 的 代码 在 一 个 节点 上 创建 了 一 个 Counter 的 实例 (参见 5.2 节 
的 “有 状态 的 actor” 部 分 ) : 
iex(node2@10.99.1.92)1> 

pid = spawn(Counter, :loop, [42]) 
#PID<0.51.0> 
iex(node2@10.99.1.92)2> 


:global.register_name(:counter, pid) 


:yes 


创建 好 实例 后 ， 用 :global.register_name( ) 进行 注册 ， 这 类 似 
于 Process .register() ， 但 它 是 在 集群 全 局 注册 名 字 。 


现在 就 可 以 在 男 一 个 节点 上 使 用 :global .whereis_name( ) 获取 进 
程 标识 待 ， 并 发 送 消息 : 


iex(node1@10.99.1.50)1> 


Node.connect(:"node2@10.99.1.92") 


true 
iex(node1@10.99.1.50)2> 


pid = :global.whereis_name(:counter) 


#PID<7856.51.0> 
iex(node1@10.99.1.50)3> 
send(pid, {:next}) 


{:next} 
iex(node1@10.99.1.50)4> 


send(pid, {:next}) 
{:next} 


显然 ， 在 第 一 个 节点 上 的 笨 出 是 : 


Current count: 42 
Current count: 43 


下 : 消 忆 的 运行 结果 会 输出 到 产生 消 娠 的 actor 的 父 进 程 太 点 


FFE] : 
我 该 如 何 管理 集群 ? 


一 个 节点 可 以 在 另 一 个 节点 上 远程 执行 代码 ， 这 是 非常 强大 的 一 
个 功能 。 不 过 强大 的 功能 都 很 危险 。 在 设计 集群 管理 策略 时 尤其 
需要 考虑 安全 性 。 之 前 调用 iex 时 使 用 的 - -cookie 参数 就 源 出 
一 个 Erlang 玉 太 仅 授 收 使 用 同样 cookie 的 让 点 发 送 的 消 

也 有 其 他 的 方法 用 来 保障 Erlang 集 群 的 安全 性 ， 比 如 SSL 隧 首 


ie 
安全 性 不 是 唯一 的 问题 。 上 面 的 例子 中 使 用 Ip 地 址 作为 节点 名 称 
的 二 部 分 ， 这 在 大 部 分 场景 下 都 适用 (因为 我 并 不 知道 你 的 网 络 


使 用 IP 比 较 保险 ) 。 不 过 在 产品 环境 中 未 必 是 最 好 的 选 

Zo 

集群 设计 中 的 种 种 权衡 非常 复杂 ， 也 超出 了 本 书 的 范围 。 在 产品 

环境 中 使 用 集群 前 ， 请 务必 阅读 相关 文档 。 

分 布 式 词 频 统 计 

我 们 即将 结束 对 actor 模 型 和 Flixir 的 学 习 ， 现 在 来 尝试 实现 分 布 式 的 
Wikipedia 词 频 统计 〈 前 几 章 已 经 介绍 过 其 背景 ) 。 分 布 式 的 解决 方案 
与 前 几 章 的 解决 方案 相 比 ， 相 同 的 是 可 以 借助 多 核 的 力量 ; 不 同 的 是 
它 还 可 以 利用 多 台 计 算 机 的 力量 ， 且 能 从 月 尝 中 恢复 。 

分 布 式 解决 方案 的 基本 架构 如 图 5-3 所 示 。 


解析 器 请 求 新 的 页 面 


已 经 被 处 理 的 页 面 


计数 结果 


图 5-3 分 布 式 解 决 方案 的 基本 架构 


分 布 式 解决 方案 涉及 到 三 类 actor， 一 个 解析 器 (Parser) ， 多 个 计数 
as (Counter ) 和 一 个 累加 器 (Accumulator ) 。 解 析 器 负责 将 一 
个 Wikipedia dump 解 析 成 若干 个 页 面 ， 计 数 器 负责 统计 页 面 的 词 频 ， 累 
加 器 负责 统计 多 个 页 面 的 词 频 总 数 。 


处 理 的 第 一 步 是 计数 器 向 解析 器 请 求 一 个 页 面 。 计 数 器 收 到 页 面 后 ， 
统计 页 面 的 词 频 ， 并 将 结果 传 给 票 加 器 。 款 加 器 处 理 完 成 后 ， 会 告诉 
解析 器 该 页 面 已 经 被 处 理 。 

我 们 稍 后 会 解释 为 什么 要 选择 这 样 的 处 理 流程 ， 先 来 看 看 如 何 实 现 这 
个 方案 ， 从 计数 姻 的 部 分 开始 。 

计数 器 

下 面 的 Counter 模块 是 一 个 简单 的 无 状态 的 actor， 从 Parser 接收 页 
面 ， 并 将 计数 结果 发 送 给 Accumulator : 


Actors/word_count/lib/counter.ex 


Line 1 defmodule 


Counter do 


use 


GenServer .Behaviour 
def 


start_link do 


:gen_server.start_link(__MODULE__, nil 


, []) 
5 


end 


def 


deliver_page(pid, ref, page) do 


:gen_server.cast(pid, {:deliver_page, ref, page}) 
end 


10 def 


init(_args) do 


Parser.request_page(self()) 
{:ok, nil 


end 


15 def 


handle_cast({:deliver_page, ref, page}, state) do 


Parser.request_page(self()) 


words = String.split(page) 
counts = Enum.reduce(words, HashDict.new, fn 


(word, counts) -> 
20 Dict.update(counts, word, 1, &(&1 + 1)) 
end 


Accumulator.deliver_counts(ref, counts) 
{:noreply, state} 
end 


25 end 


这 段 代码 遵循 了 OTP 服 务 器 的 标准 模式 一 一 首先 是 供 外 部 使 用 的 API 
(start_link() #iideliver_page()) ， 然 后 是 初始 化 函数 
(init()) ， 最 后 是 消息 处 理 函 数 (handle_cast()) 。 


Counter 初始 化 时 先 调用 Parser ,request_page() (第 11 行 ) 。 


Counter 每 接收 到 一 个 页 面 ， 首 先 会 申请 下 一 个 页 面 (第 16 行 ， 这样 
做 是 为 了 减少 延迟 ) 。 然 后 统计 当前 页 面 的 词 频 ， 构 造 字典 counts 来 
保存 结果 (第 18~21 行 ) 。 最 后 将 ref (引用 ref 是 和 页 面 一 起 接收 到 
的 ) 和 计数 结果 发 送 给 Accumulator 。 


利用 CounterSupervisor 可 以 创建 和 管理 多 个 Counter : 


Actors/word_count/lib/counter.ex 


defmodule 


CounterSupervisor do 


use 


Supervisor .Behaviour 
def 


start_link(num_counters) do 


:Supervisor.start_link(__MODULE__, num_counters) 
end 


def 


init(num_counters) do 


workers = Enum.map(1..num_counters, fn 


(n) -> 


worker (Counter, [], id: "counter#{n} 


") 


end 


supervise(workers, strategy: :one_for_one) 
end 


end 


CounterSupervisor.init() 的 参数 是 要 创建 的 Counter 的 个 
数 ， 也 是 workers 列表 的 长 度 。 注 意 ， 每 个 工作 线程 worker 都 需 
一 个 唯一 的 id ， 可 以 用 1. ,num_counters 构造 id 的 值 。 


累加 器 


Accumulator 维护 了 两 个 状态 : totals 是 保存 累加 结果 的 字典 ; 
processed_pages 是 保存 已 经 处 理 过 的 页 面 所 对 应 的 引用 的 集合 。 


Actors/word_count/lib/accumulator.ex 


Line 1 defmodule 


Accumulator do 


- use 
GenServer .Behaviour 
- def 


start_link do 


5 :gen_server.start_link({:global, :wc_accumulator}, 
_ MODULE, 

- {HashDict.new, HashSet.new}, []) 

- end 

- def 


deliver_counts(ref, counts) do 


10 :gen_server.cast({:global, :wc_accumulator}, 
{:deliver_counts, ref, counts}) 
- end 
- def 


handle_cast({:deliver_counts, ref, counts}, {totals, 
processed_pages}) do 


- if 


Set.member?(processed_pages, ref) do 


15 {:noreply, {totals, processed_pages}} 


else 


new_totals = Dict.merge(totals, counts, fn 

(_k, vi, v2) -> v1 + v2 end 

) 
new_processed_pages = Set.put(processed_pages, ref) 
Parser .processed(ref ) 


20 {:noreply, {new_totals, new_processed_pages}} 
end 


end 


- end 


这 上 段 代码 以 {:global，wc_accumulator} 为 参数 调 
用 :gen_server.start_link() (517) ， 为 累加 器 创建 了 全 局 
名 称 。 可 以 直接 使 用 全 局 名 称 来 调用 :gen_server .cast() 发 送 消 


息 (第 10 行 ) 。 


“Accumulator 收 到 计数 结果 时 ， 首 先 检查 某 一 页 面 是 否 已 经 被 处 理 
过 ( 稍 后 我 们 会 看 到 Accumulator 可 能 收 到 两 次 同一 页 面 的 计数 结 
果 ， 并 解释 这 个 检查 的 重要 性 ) 。 如 果 页 面 没 有 被 处 理 过 ， 则 使 用 
Dict.merge() 将 该 页 面 的 计数 结果 合并 到 totals 中 ， 并 使 用 
Set.put() 将 该 页 面 的 引用 合并 到 processed_pages ， 最 后 通知 
Parser 该 页 面 已 经 被 处 理 。 


解析 器 与 容错 


解析 器 是 三 种 actor 中 最 复杂 的 ， 我 们 将 逐步 进行 介绍 。 首 先 ， 介 绍 其 
对 外 提供 的 API: 


Actors/word_count/lib/parser.ex 


defmodule 


Parser do 


use 
GenServer .Behaviour 
def 


start_link(filename) do 


:gen_server.start_link({:global, :wc_parser}, _ MODULE, 
filename, []) 


end 


def 


request_page(pid) do 


:gen_server.cast({:global, :wc_parser}, {:request_page, pid}) 
end 


def 


processed(ref) do 


:gen_server.cast({:global, :wc_parser}, {:processed, ref}) 
end 


end 


SAccumulator 相同 ，Parser 也 在 初始 化 时 注册 了 一 个 全 局 和 名称。 
它 提 供 了 两 种 操作 一 一 第 一 种 是 request_page() ，Counter 调用 


这 个 函数 来 请 求 一 个 页 面 ; 第 二 种 是 processed() , Accumulator 
调用 这 个 函数 来 通知 解析 器 某 页 面 已 经 被 处 理 了 。 


接 下 来 ， 介 绍 这 两 种 操作 的 请 妃 处 理 函 效 : 


Actors/word_count/lib/parser.ex 


def 
init(filename) do 
xml_parser = Pages.start_link( filename) 


{:ok, {ListDict.new, xml_parser}} 
end 


def 


handle_cast({:request_page, pid}, {pending, xml_parser}) do 


new_pending = deliver_page(pid, pending, Pages.next(xml_parser) ) 
{:noreply, {new_pending, xml_parser}} 
end 


def 


handle_cast({:processed, ref}, {pending, xml_parser}) do 


new_pending = Dict.delete(pending, ref) 
{:noreply, {new_pending, xml_parser}} 
end 


Parser 维护 了 两 个 状态 : 第 一 个 是 pending ， 这 是 一 个 ListDict 
， 其 元 系 是 已 经 发 往 Counter 但 没有 被 处 理 的 页 面 的 引用 ; 第 二 个 是 
xml_parser ， 这 是 一 个 actor， 其 使 用 Erlang 的 xmerl 库 6 来 解析 
Wikipedia dump 《在 此 不 详 述 其 实现 ， 详 情 可 见 本 书 配套 代码 ) 。 


6 http://www.erlang.org/doc/apps/xmerl/ 


Xf: processed 消息 的 处 理 只 需要 从 pending 中 删除 已 被 处 理 的 页 
面 。 对 :request_page 消息 的 处 理 需 要 从 XML 解 析 器 中 获取 下 一 个 
可 用 的 页 面 ， 并 将 页 面 传 给 deliver_page() : 


Actors/word_count/lib/parser.ex 


defp 
deliver_page(pid, pending, page) when 


nil?(page) do 
if 
Enum.empty?(pending) do 


pending # 什么 也 不 做 
else 


{ref, prev_page} = List.last(pending) 
Counter.deliver_page(pid, ref, prev_page) 


Dict.put(Dict.delete(pending, ref), ref, prev_page) 
d 


defp 


deliver_page(pid, pending, page) do 


ref = make_ref() 
Counter.deliver_page(pid, ref, page) 
Dict.put(pending, ref, page) 

end 


这 里 的 deliver_page() 使 用 到 了 一 个 未 介绍 过 的 Elixir 特 性 一 一 卫 
语句 (guard clause) ， 在 本 例 中 是 第 一 个 deliver_page( ) 的 when 
子 句 。 卫 语句 是 一 个 布尔 表达 式 一 函数 仅 在 表达 式 为 真 时 有 效 。 


“page 不 为 空 时 ， 首 先 使 用 make_ref() 创建 一 个 唯一 的 引用 ， 并 
将 页 面 传 给 请 求 页 面 的 counter ， 最 后 将 页 面 添加 到 pending 中 。 


当 page 为 空 时 ， 意 味 着 XML 人 解析 器 已 经 完成 了 对 所 有 页 面 的 解析 ， 不 
再 提供 新 的 页 面 。 此 时 只 需 将 pending 中 最 老 的 元 素 传 给 Counter 


， 并 从 pending 中 将 此 页 面 移出 再 重新 添加 进来 ， 以 保证 其 是 
pending 中 最 新 的 元 素 。 


page 为 空 的 分 文 主要 是 为 了 确保 pending 中 的 页 面 最 终 都 会 被 处 
理 。 将 这 些 pending 中 的 页 面 再 次 发 给 另 一 个 Counter 有 什么 好 处 
吗 ? 


和 上牌 了 


这 样 的 好 处 是 提升 了 容错 性 。 如 果 一 个 counter 裔 演 、 网 络 故 障 或 者 
硬件 故障 ， 就 需要 将 其 处 理 的 页 面 发 给 另 一 个 Counter 。 由 于 每 个 页 
面 都 市 有 唯一 的 引用 ， 那 惑 可 以 分 辩 哪 些 页 面 已 经 补 处 理 过 了 ， 从 而 

避免 重复 计数 。 


现在 启动 一 个 集群 来 体验 一 下 吧 。 在 一 台 计 算 机 上 局 动 一 个 Parser 和 
一 个 Accumulator ， 并 在 其 他 的 一 台 或 几 台 计算 机 上 启动 几 个 
Counter 。 如 果 拔 掉 某 个 运行 Counter 的 计算 机 的 网 线 ， 或 者 干掉 
其 Erlang 虚 拟 机 ， 其 他 正常 的 Counter 将 继续 运行 并 接管 那些 运行 在 
故障 计算 机 上 的 页 面 。 


这 是 一 个 体现 并 发 分 布 式 程序 的 优点 的 绝 佳 例子 。 发 生 某 个 硬件 故障 


eee ene 但 这 个 分 布 式 的 程序 将 斑 
T > o 


第 三 天 总 结 

我 们 完成 了 第 三 天 的 学 习 ， 同 时 也 结束 了 对 actor 模 型 的 学 习 。 

第 三 天 我 们 学 到 了 什么 

使 用 Elixir 可 以 创建 多 节点 的 集群 。 一 个 节点 上 的 actor 可 以 问 男 一 个 市 
点 上 的 actor 发 送 消息 ， 与 回 本 蔬 点 的 actor 发 送 消息 没有 什么 区 别 。 使 
用 Elixir 可 以 创建 一 个 分 布 在 多 台 计 算 机 上 的 系统 ， 如 果 其 中 一 台 计 算 
机 崩 尝 ， 该 系统 可 以 从 中 恢复 运行 。 

第 三 天 自习 

查找 


。 观看 Joe Armstrong 在 Lambda Jam 上 的 演讲 : Systems That Run 
Forever Self-Heal and Scale ° 


。 什么 是 一 个 OTP 应 用 程序 ? 为 什么 把 它 理解 成 “组 件 ” 更 加 合适 ? 


。 到 目前 万 止 ， 我 们 使 用 的 actor 的 状态 都 会 在 它 退出 时 丢失 。Elixir 
征 如 何 实现 持久 状态 的 ? 
实践 


。 对 于 本 节 中 具有 容错 功能 的 词 频 统计 程序 ， 如 果 一 个 计数 器 或 相 
应 的 计算 机 崩溃 ， 程 序 可 以 继续 运行 下 去 。 但 如 果 一 个 解析 器 或 
一 个 票 加 器 崩溃 则 不 行 。 修 改 程序 ， 使 其 在 任 一 actor 或 任 一 计算 
机 衣 溃 时 都 可 以 继续 运行 。 


5.5 复习 


Smalltalk 的 设计 者 、 面 回 对 象 编 程 之 父 Alan Kay 曾 经 这 样 摘 述 面 癌 对象 
的 本 质 ”: 


7 http://c2.com/cgi/wiki? AlanKayOnMessaging 


很 久 以 前 ， 我 在 描述 “面向 对 象 编程 "时 使 用 了 “对 象 * 这 个 概念 。 很 
抱 鞭 这 个 概念 让 许多 人 误 入 收 途 ， 他 们 将 学 习 的 重心 放 在 了 “对 
象 " 这 个 次 要 的 方面 。 


真正 主要 的 方面 是 “消息 ”..….. 日 文中 有 一 个 词 ma， 表 示 “ 间 隔 ”， 
与 其 最 为 相近 的 英文 或 许 是 “ interstitial”。 创 建 一 个 规模 宏大 且 可 
生长 的 系统 的 关键 在 于 其 模块 之 间 应 该 如 何 交 流 ， 而 不 在 于 其 内 
部 的 属性 和 行为 应 该 如 何 表 现 。 


这 段 话 也 概括 了 使 用 actor 模 型 进行 编程 的 精髓 一 一 我 们 可 以 认为 actor 
模型 是 面 问 对 象 模型 在 并 发 编程 领域 的 扩展。actor 模 型 精心 设计 了 消 
已 ila ae 的 机 制 ， 强 调 了 面向 对 象 的 精髓 ， 可 以 说 actor 模 型 非 
ey A] % 6 


Tu 


actor 有 许多 优良 的 特性 ， 适 用 于 解决 多 种 并 发 问题 。 

消息 传输 和 封装 

虽然 多 个 actor 可 以 同时 运行 ， 但 它们 并 不 共享 状态 ， 而 且 在 单个 actor 

中 所 有 事件 都 是 串 行 执行 的 。 所 以 关于 并 发 ， 只 需要 关注 于 多 个 actor 

Z EANA VAL BY ay ° 

对 开发 人 员 来 说 这 是 个 重大 利好 。 每 个 actor 可 以 被 单独 测试 ， 而 且 当 

测试 履 盖 了 某 个 actor 的 消息 类 型 和 消息 顺序 时 ， 束 可 以 确定 这 个 actor 

非常 可 靠 。 如 果 发 现 了 一 个 与 并 发 相关 的 bug， 也 就 知道 重点 应 该 放 在 
actor 之 则 的 消息 流 上 。 

容错 


使 用 actor 模 型 的 程序 天 生 具 有 容错 性 。 这 不 仅 会 让 程序 更 加 强壮 ， 而 
A (通过 “ 任 其 月 演 * 的 哲学 ) 会 让 代码 更 加 简洁 明了 。 


分 布 式 编程 


actor 模 型 支持 共享 内 存 模型 ， 也 支持 分 布 式 内 存 模型 ， 这 就 带 来 了 很 
多 优点 。 
A VL 


首 完 ，actor 模 型 几乎 可 以 解决 任何 规模 的 问题 。 我 们 不 需要 将 问题 局 
限于 用 一 个 系统 解决 。 


其 次 ，actor 模 型 可 以 解决 地 理 分 布 式 问 题 。 对 于 不 同 部 分 需要 部 署 在 
不 同 地 理 位 置 的 软件 ，Actor 模 型 是 个 极 佳 的 选择 。 


最 后 ， 分 布 式 是 软件 具有 容 锯 能 力 的 基石 。 

BUR 

尽管 使 用 actor 模 型 的 程序 比 使 用 线程 与 锁 模 型 的 程序 更 容易 debug， 但 
actor 模 型 仍 会 碰 到 死 尔 这 一 类 的 共性 问题 ， 也 会 碰 到 一 些 actor 模 型 独 
有 的 问题 〈 例 如 信箱 溢出 ) 。 


类 似 于 线程 与 锁 模 型 ，actor 模 型 对 并 行 也 没有 提供 直接 文 持 。 需 要 通 
过 并 发 的 技术 来 构造 并 行 的 方案 ， 这 样 融会 引入 不 确定 性 。 而 且 ， 由 


多 个 actor 并 不 共享 状态 ， 仅 通过 消息 传递 来 进行 交流 ， 所 以 不 太 适 
实施 细 粒 度 的 并 行 。 


其 他 语言 


与 许多 伟大 的 思想 一 样 ，actor 模 型 也 由 来 悠久 一 20 世纪 70 年 代 Carl 
Hewitt 首 次 提出 这 个 模型 。Erlang 无 疑 为 布道 actor 做 了 最 大 的 页 献 。 比 
如 Erlang 的 创始 人 Joe Armstrong 也 是 “ 任 其 崩溃 ”哲学 的 先驱 。 


大 部 分 流行 的 编程 语 言 都 提供 了 一 个 actor 库 ， 特 别 是 Akka 库 8 为 Java 和 
其 他 运行 于 JVM 的 语言 提供 了 对 actor 模 型 的 支持 。 如 果 想 深入 学 习 
Akka， 建 议 阅读 本 书 的 奖励 章节 ”， 其 中 描述 了 如 何 用 Scala 进 行 actor 
编程 。 


于 
合 


8 http://akka.io 


3 http://media.pragprog.com/titles/pb7con/Bonus_Chapter.pdf 
i 五 
结语 


actor 模 型 是 应 用 最 广 沁 的 编程 模型 之 一 一 一 不 仪 提 供 了 并 发 文 持 ， 还 
文 持 分 布 式 、 错 误 检 测 和 容错 。 当 面 对 越 来 越 大 的 分 布 式 需求 时 ， 该 
模型 和 解决 问题 的 绝 佳 选择 。 


下 一 章 我 们 将 学 习 通 信和 顺序 进程 “Communicating Sequential 

Processes, CSP) 。 虽 然 CSP 模 型 看 上 去 类 似 于 actor 模 型 ， 但 区 别 在 
F: actor 模 型 的 重点 在 于 参与 交流 的 实体 ， 而 CSP 模 型 的 重点 在 于 用 于 
交流 的 通道 。 因 此 使 用 CSP 模 型 将 是 另 一 番 人 体验 。 


第 6 章 通信 顺序 进程 


如 琳 你 和 我 一 样 是 个 车 迷 ， 很 可 能 只 会 关注 车 辆 本 喘 ， 而 忽略 了 它 所 
要 行驶 的 道路 。 大 家 都 在 唆 唆 不 体 地 争论 涡轮 增 压 与 自然 吸 气 熟 优 熟 
劣 ， 让 中 置 发 动机 布局 与 前 置 发 动机 布局 一 较 高 下 ， 却 瑟 记 了 最 重要 


的 方面 其 实 与 车 辆 本 吴 无 天 。 你 能 去 往 何 方 、 能 多 快 到 达 目 的 地 ， 首 
KIRENA EKAA DEE MEA o 


消息 传递 系统 (message-passing system) 与 之 类 似 ， 决 定 其 特性 和 功能 
7 = TREE BSE ENA, Tey EY 
BIGGIE ° 


本 章 我 们 所 考察 的 模型 表面 上 与 actor 模 型 相似 ， 但 由 于 其 侧重 点 不 
同 ， 所 以 有 着 很 大 的 差别 。 


6.1 Aw Bias 


如 上 一 章 所 述 ， 使 用 actor 模 型 的 程序 是 由 独立 的 、 并 发 执行 的 实体 
( 称 为 actor，Elixir 中 称 为 进程 ) 组 成 的 ， 这 些 实体 之 间 通 过 发 送 消 息 
o 每 个 actor 都 有 一 个 信箱 ， 用 于 保存 已 经 收 到 但 尚未 被 处 理 
VER o 


与 actor 模 型 类 似 ， 通 信 顺 序 进 程 (Communicating Sequential Processe, 
CSP) 模型 也 是 由 独立 的 、 并 发 执行 的 实体 所 组 成 ， 实 体 之 间 也 是 通过 
AIRF ETI ° (APA RAY BE File: CSP 模 型 不 关注 发 送 消 
息 的 实体 ， 而 是 关注 发 送 消息 时 使 用 的 channel (通道 ) 。channel 是 第 
一 类 对 象 ， 它 不 像 进 程 那样 与 信箱 是 紧 耘 合 的 ， 而 是 可 以 单独 创建 和 
读 写 ， 并 在 进程 之 间 传 递 。 


与 函数 式 编程 和 actor 模 型 类 似 ，CSP 模 型 也 是 正在 复兴 的 古董 。 由 于 近 
来 Go 语言 的 兴起 ，CSP 模 型 又 流行 起 来 。 我 们 将 通过 core .async Æ 
“来 介绍 CSP 模 型 ， 这 个 库 将 Go 的 并 发 模型 引入 了 Clojure ° 


1 http://golang.org 
2 http://clojure.com/blog/2013/06/28/clojure-core-async-channels.html 


第 一 天 ， 我 们 将 学 习 构 建 core ,async 库 的 两 大 基石 : channel 和 go 
块 。 第 二 天 ， 使 用 这 些 知 识 构建 一 个 有 现实 意义 的 例子 。 第 三 天 ， 学 
习 如 何在 ClojureScript 中 使 用 core ,async 来 简化 客户 端 编程 。 


6.2 ”第 一 天 : channel 和 go 块 


core async 提供 了 两 个 主要 的 工具 一 一 channel 和 go 块 。 在 大 小 有 限 
oe go 块 允 许多 个 并 发 任务 复 用 线程 资源 。 现 在 还 是 先 来 看 
channel ° 


使 用 core .async 库 


在 Clojure 语 言 中 ， core.async 库 库 的 资历 较 浅 ， 且 仍 处 于 预 发 布 
阶段 (因此 需要 留意 可 能 发 生 的 变化 ) 。 要 使 用 这 个 库 ， 你 需要 
为 项 目 添加 依赖 并 导入 core async ° HiFcore.async 库 定 义 
的 一 些 函 数 名 与 Clojure 核 心 库 的 函数 名 神 突 ， 添 加 依赖 和 导入 库 
往往 较为 每 复 。 为 简单 起 见 ， 你 可 以 使 用 本 书 配套 代码 中 的 
channel 项 目 ， 它 是 这 样 导 入 core.async 库 的 : 


CSP/channels/src/channels/core.clj 


(ns 


channels.core 
(:require [clojure.core.async :as async :refer :all 


:exclude [map into reduce merge partition 
partition-by take 


]])) 


通过 指定 :refer a 大 多 数 core .async 库 的 函数 可 以 直 
接 使 用 ， 但 还 有 一 部 分 〈 函 数 名 与 核心 库 函 数 名 神 突 的 画 数 ) 必 
须 通 过 使 用 async/ 


切换 到 channel 项 目下 ， 直 接 运 行 ]ein repl ， 就 可 以 运行 一 个 
REPL， 其 中 已 经 加 载 7core.async 库 的 函数 定义 。 


Channel 


一 个 channel 就 是 一 个 线程 安全 的 队列 一 一 任何 任务 只 要 持 有 channel 的 
引用 ， 束 可 以 同一 出 深 加 消息 ， 也 可 以 从 另 一 端 删 除 消 筷 。 在 actor 模 
型 中 ， 消 息 是 从 指定 的 一 个 actor 发 往 指 定 的 另 一 个 actor 的 ; 与 之 不 

E], 使 用 channel 发 送 消 局 时 发 送 者 并 不 知道 谁 是 接收 者 ， 反 之 亦 然 。 


通过 chan 函数 可 以 创建 新 的 channel: 


channels.core=> 


(def c (chan) 


#'channels.core/c 


使 用 >!1 可 以 同 channel 中 写 入 消息 ， 使 用 <!1! 可 以 从 channel 中 该 出 消 
JO: 
channels.core=> 

(thread (println "Read:" (<!! c) "from c")) 
#<ManyToManyChannel 
clojure.core.async.impl.channels .ManyToManyChannel@78fcc563> 
channels.core=> 

(>!! c "Hello thread") 


Read: Hello thread from c 
nil 


这 段 代码 使 用 了 core ,async 提供 的 thread 辅助 安 ， 这 个 安 会 将 其 
中 的 代码 运行 在 一 个 单独 的 线程 上 。 这 个 线程 将 Pe 
出 的 消息 。 不 过 首先 它 会 阻塞 ， 直 到 调用 >11 向 channel 中 写 入 消息 ， 
然后 我 们 才 会 看 到 输出 。 


缓存 区 
默认 情况 下 ，channel 是 同步 的 (或 称 无 缓存 的 ) 一 一 一 个 任务 向 


eee 会 一 直 阻 塞 ， 直 到 另 一 个 任务 从 channel 中 读 出 
{AS 


channels.core=> 


(thread (>!! c "Hello") (println "Write completed") ) 


#<ManyToManyChannel 
clojure.core.async.impl.channels .ManyToManyChannel@78fcc563> 
channels.core=> 


(<!! c) 


Write completed 
"Hello" 


如 采 向 chan 函数 传 入 缓存 区 的 大 小 ， 束 可 以 创建 一 个 有 缓存 的 


channel: 


channels.core=> 


(def bc (chan 5)) 
#'channels.core/bc 
channels.core=> 

(>!! be 0) 
nil 
channels.core=> 
(>!! be 1) 
nil 
channels.core=> 

(close! bc) 


nil 
channels.core=> 


(<!! be) 
0 
channels.core=> 
(<!! be) 
1 


channels.core=> 


(<!! be) 


nil 


这 段 代 码 创 建 了 一 个 channel， 其 缓存 区 可 以 容纳 五 个 消息 。 当 channel 
的 缓存 区 有 足够 空间 时 ， 辐 其 中 写 入 消息 的 操作 会 立刻 完成 ， 不 会 阻 


塞 。 


关闭 channel 


上 面 的 代码 还 展示 了 channel 的 另 一 个 特性 可 以 通过 close! 关闭 
channel。 从 已 经 关闭 的 空 的 channel 中 读 出 消息 ， 将 得 到 nil ;向 已 经 
关闭 的 channel 写 入 消息 ， 该 消息 将 默默 地 被 弃 用 。 如 你 所 料 ， 癌 
channel 中 写 入 nil 将 发 生 错 误 : 


channels.core=> 


(>!! (chan) nil) 


IllegalArgumentException Can't put nil on channel «...» 


PRN aCHIS ARE SAAR, ATH chanet ikha, E 
Pllchannel k RH] o EN BCE LARA IE TUR [Bl eB AY PBA: 


CSP/channels/src/channels/core.clj 


(defn 


readall!! [ch] 
(loop 


[coll []] 
(if-let 


[x (<!! ch)] 
(recur 


(conj 


coll x)) 
coll))) 


在 上 面 的 代码 中 ，co11 的 初始 值 是 空 数 组 [] 。 每 次 循环 将 从 ch 中 读 
出 一 个 值 ， 如 果 读 出 的 值 不 是 nil ， 就 将 其 添加 到 coll 中 ; 如 果 读 出 
的 值 是 nil (channel 已 经 被 关闭 ， 画 数 将 返回 co11。 


下 面 是 writeall11 玉 数 ， 其 授 受 一 个 channel 和 一 个 数组 ， 将 数组 的 
所 有 值 写 入 channel， 并 在 写 入 完成 后 关闭 channel: 


CSP/channels/src/channels/core.clj 


(defn 


writeall!! [ch coll] 
(doseq 


[x coll] 
(>!! ch x)) 
(close! ch)) 


来 测试 一 下 这 几 个 函数 : 
channels.core=> 

(def ch (chan 10) ) 
#'channels.core/ch 
channels.core=> 

(writeall!! ch (range 0 10)) 
nil 
channels.core=> 


(readall!! ch) 


[0123456789] 


你 肯定 料 到 了 core .async 会 提供 具有 类 似 功 能 的 辅助 函数 ， 这 样 我 
们 就 不 用 自己 创建 这 些 函 数 了 : 


channels.core=> 
(def ch (chan 10) ) 


#'channels.core/ch 
channels.core=> 


(onto-chan ch (range 0 10)) 
#<ManyToManyChannel 
clojure.core.async.impl.channels .ManyToManyChannel@6bi6d3cf> 


channels.core=> 


(<!! (async/into [] ch)) 


[01234567 89] 


onto-chan 函数 用 于 将 集合 中 的 所 有 内 容 写 入 channel， 并 在 写 入 完成 
时 关闭 channel 。async/into 函数 接受 一 个 初始 集合 (上 例 中 是 空 集 
合 ) 和 一 个 channel， 并 返回 一 个 channel。 返 回 的 channel 中 的 元 素 是 一 
个 集合 ， 这 个 集合 由 初始 集合 和 从 输入 的 channel 中 该 出 的 所 有 元 素 合 
并 而 成 。 

下 面 我 们 将 使 用 这 些 辅助 国 数 进一步 讨论 有 缓存 区 的 channel 。 
缓存 区 已 满 时 的 策略 


默认 情况 下 ， 向 一 个 缓存 区 已 满 的 channel 中 写 入 消 居 将 会 被 阻塞 。 但 
我 们 也 可 以 选择 其 他 策略 ， 通 过 癌 chan 函数 传 入 缓存 区 来 实现 : 


channels.core=> 


(def dc (chan (dropping-buffer 5))) 
#'channels.core/dc 
channels.core=> 
(onto-chan dc (range 0 10)) 
#<ManyToManyChannel 
clojure.core.async.impl.channels .ManyToManyChannel@147cOdef> 


channels.core=> 


(<!! (async/into [] dc)) 


[0 1 2 3 4] 


这 段 代 码 创 建 了 一 个 channel， 其 使 用 一 个 缓存 区 容量 为 5 的 
dropping-buffer 。 我 们 将 数字 0~9 写 入 channel， 虽 然 channel 的 组 
FEX ANGER IISA BAS, (AFAR ALAS o MRE H channel H PA HY 
数字 ， 融 会 发 现 只 有 5 个 数字 一 -后面 的 数字 被 弃 用 了 。 


Clojure 还 提供 了 sliding-buffer : 


channels.core=> 

(def sc (chan (sliding-buffer 5))) 
#'channels.core/sc 
channels.core=> 

(onto-chan sc (range 0 10)) 
#<ManyToManyChannel 


clojure.core.async.impl.channels .ManyToManyChanne1@3071908b> 
channels.core=> 


(<!! (async/into [] sc)) 


[56789] 


与 之 前 一 样 ， 这 段 代 码 创 建 了 一 个 容量 为 5 的 channel， 但 这 次 使 用 的 是 
sliding-buffer 。 如 果 读 出 channel 中 所 有 的 数字 ， 会 发 现 输出 的 是 
最 后 写 入 的 5 个 数字 一 一 也 就 是 说 ， 向 一 个 缓存 区 已 满 的 channel 中 写 入 
UE, sliding-buffer 将 会 弃 用 之 前 写 入 的 数据 。 稍 后 我 们 还 会 
详细 地 人 研究 channel， 下 面 完 来 看 看 core ,async 的 为 一 个 主要 特性 
go 块 。 


小 乔 爱 问 : 
为 什么 没有 容量 自动 增 大 的 缓存 区 ? 


我 们 已 经 学 习 了 core.async 库 提供 的 全 部 三 种 缓存 区 类 型 一 一 

阻塞 型 (blocking) 、 弃 用 新 值 型 (dropping) 和 移出 旧 值 型 
(sliding) 。 从 感觉 上 说 ， 如 果 缓 存 区 能 按 需 增加 容量 ， 那 也 是 很 

合理 的 。 为 什么 core ,async 库 没有 提供 这 样 的 缓存 区 类 型 ? 


其 中 的 原因 是 个 老生 第 谈 的 话题 ， 即 便 你 有 一 个 现在 看 上 去 “ 永 不 
枯 况 ”的 资源 ， 总 有 一 天 这 个 资源 还 是 会 被 用 尽 。 可 能 钙 因 为 时 过 
境 迁 ， 当 初 的 程序 需要 解决 更 大 规模 的 问题 ， 也 可 能 是 因为 存在 
一 个 pug， 消 息 没 有 被 及 时 处 理 ， 从 而 导致 堆积 。 


如 琳 你 放弃 思考 相应 的 对 策 ， 那 未 来 的 某 个 时 间 束 有 可 能 出 现 一 

个 破坏 性 极 强 、 隐 蔽 极 深 且 难 以 诊断 的 pug。 实 际 上 ， 让 进程 的 信 
箱 盗 出 ， 是 让 Erlang 系 统 全 面 朋 省 的 为 数 不 多 的 方法 之 一 。 最 好 
的 策略 是 在 现在 就 思考 如 何 处 理 缓 存 区 被 塞 满 的 情况 ， 将 问题 消 

KEHEE ° 


a. http://prog21.dadgum.com/43.html 


go 块 


线程 启动 和 运行 时 都 有 一 定 开 销 ， 这 正 是 现在 的 程序 都 避免 直接 创建 
线程 、 转 而 使 用 线程 池 (参见 2.4 广 的 “创建 线程 之 终极 版 ”部 分 i 的 原 
。 实际 上 ， 我 们 在 以 前 的 例子 中 见 过 的 thread 宏 内 部 也 使 用 了 
CachedThreadPool ° 


然而 线程 池 并 不 总 是 适用 。 尤 其 是 当 程序 阻塞 时 ， 使 用 线程 池 可 能 会 
造成 麻烦 。 


阻塞 带 来 的 问题 


线程 池 技 术 是 处 理 CPU 密 集 型 任务 的 利 絮 一 一 任务 进行 时 会 占用 某 个 
线程 ， 任 务 结束 后 将 线程 返还 给 线程 池 ， 使 线程 可 以 被 复 用 。 但 涉及 
线程 通信 时 使 用 线程 池 是 否 仍然 合适 呢 ? WRASSE, BRA EE 
无 限期 被 占用 ， 这 融 削 弱 了 使 用 线程 池 技术 的 优势 。 


这 种 问题 是 有 一 些 解决 方案 的 ， 但 它们 通常 会 对 代码 风格 加 以 限制 ， 
使 之 变 成 事件 驱动 的 形式 。 事 件 驱 动 是 一 种 编程 风格 ， 对 于 从 事 UI 编 
程 或 事件 类 服务 器 编程 的 程序 员 来 说 一 定 不 阳 生 。 


虽然 这 些 方案 都 能 解决 问题 ， 但 它们 破坏 了 控制 流 的 自然 的 表达 形 
式 ， 让 代码 变 得 难以 疯 读 和 理解 。 更 糟糕 的 是 ， 这 些 方案 还 会 大 量 使 
用 全 局 状态 ， 因 为 事件 处 理 右 需要 保存 一 些 数据 ， 以 便 之 后 的 事件 处 
理 器 使 用 。 我 们 已 经 学 习 过 这 个 结论 : 状态 和 并 发 最 好 不 要 混用 。 


go 块 提 供 了 一 种 两 全 其 美的 解决 方案 一 一 既 可 以 写 出 事件 驱动 的 代码 
来 解决 目前 碰 到 的 阻塞 问题 ， 又 可 以 不 牺牲 代码 的 结构 性 和 可 读 性 。 
其 原理 是 go 块 在 接 层 将 串 行 化 代码 透明 地 重 写成 了 事件 驱动 的 形式 。 


控制 反 转 


与 其 他 Lisp 方 言 类 似 ，Clojure 有 一 套 强 大 的 安 系 统 。 如 采 你 用 过 其 他 语 
言 的 宏 系统 (比如 C/C++ 中 的 预 处 理 器 宏 ) ， 束 会 觉得 Lisp 的 宏 系统 更 
像 是 魔法 ， 它 可 以 进行 神奇 的 代码 变换 。go 宏 忠 古 其 中 一 个 小 魔法 。 
go 块 中 的 代码 会 被 转换 成 一 个 状态 机 。 当 从 channel 中 读 出 消 妃 或 回 

channel 中 写 入 消息 时 ， 状 态 机 将 暂停 ， 并 释放 它 所 占用 的 线程 的 控制 
权 。 当 代码 可 以 继续 运行 时 ， 状 态 机 进行 一 次 状态 转换 ， 并 可 能 在 为 
一 个 线程 中 继续 运行 。 

通过 这 样 的 控制 反 转 ，core.async 运行 时 可 以 在 有 限 的 线程 池 中 高 
a 个 例子 ， 稍 后 再 看 看 到 底 有 多 么 高 
7% o 


状态 机 暂停 
下 面 是 使 用 go 块 的 一 个 例子 : 


channels.core=> 


(def ch (chan)) 


#'channels.core/ch 
channels.core=> 


(go 


#_=> (let [x (<! ch) 


#_=> y (<! ch)] 


# => (printin "Sum:" (+ x y)))) 


#<ManyToManyChannel 
clojure.core.async.impl.channels .ManyToManyChannel@13ac7b98> 
channels.core=> 
(>!! ch 3) 
nil 
channels.core=> 


(>!! ch 4) 


nil 
Sum: 7 


这 段 代码 首先 创建 了 一 个 channel ch 。 然 后 创建 了 一 个 go 块 ， 用 来 从 
ch 中 读 取 两 个 值 ， 并 和 输出 两 个 值 的 和 。 虽 然 看 上 去 go 块 从 channel 中 访 
BAN aA by = BASE 实际 上 却 发 生 了 有 趣 的 事情 è 


这 段 代码 并 没有 用 <! ! 从 channel 中 读 取 数据 ， Moe BCFA T<! 。 单 个 叹 
号 意味 着 本 次 读 channel 是 进行 暂停 操作 ， 而 不 是 进行 阻塞 操作 。 同 
BH, >! 是 >!1 的 暂停 版 本 3 。 


函数 ” 稍 称 为 “暂停 函数 ”>;， 将 “进行 阻塞 操作 的 函数 ”简称 为 “阻塞 画 
一 一 译 者 注 


如 图 6-1 所 示 ，go 块 将 串 行 的 代码 转换 成 有 3 个 状态 的 状态 机 。 


输出 结果 


图 6-1 串 行 代码 对 应 的 状态 机 
该 状态 机 包括 以 下 3 个 状态 : 


1. 初始 状态 会 直接 和 暂停， 等 待 ch 中 有 数据 可 以 被 读 取 。 满 足 条 件 时 ， 
状态 机 进入 状态 2。 


2. 状态 机 首先 将 从 ch 中 读 取 的 值 绑 定 到 x 上 ， 人 然后 和 暂停， 等 竺 ch 中 下 
一 个 可 以 被 读 取 的 数据 。 满 足 条 件 时 ， 状 态 机 进入 状态 3。 


3. 状态 机 将 从 ch PERIERE Ely 上 ， 输 出 结果 ， 并 终止 。 
小 乔 爱 问 : 
如 果 go 块 中 发 生 阻 塞 呢 ? 
如 琳 go 块 中 使 用 了 一 个 阻塞 函数 ， 比 如 <11 ， 那 么 当前 运行 的 线 
程 会 补 阻 窗 。 虽 然 代码 的 正确 性 不 会 受到 影响 ME, WREE 
了 足够 多 的 线程 ， 会 因为 没有 可 运行 的 线程 而 陷入 死 锁 ) ， 但 是 
这 样 做 违背 了 使 用 go 块 的 本 意 。 如 采 误 用 了 阻塞 函数 ， 你 不 会 
到 敬告， 也 就 是 说 你 要 保证 使 用 了 正确 的 芳 数 。 


幸运 的 是 ， 如 果 在 不 能 使 用 乔 停 函数 的 地 方 使 用 了 暂停 画 数 ， 你 


会 得到 次 全 : 


channels.core=> 


(<! ch) 


AssertionError Assert failed: <! used not in (go ...) block 
nil clojure.core.async/<! (async.clj:83) 


go 块 的 成 本 很 低 


go 块 的 意义 主要 在 于 其 效率 。 与 使 用 线程 不 同 ， 使 用 go 块 的 成 本 很 
低 ， 因 此 可 以 创建 很 多 go 块 而 不 用 担心 耗 尽 资源 。 这 看 上 去 是 个 小 小 
的 改 才 ， 但 实际 上 ， 不 用 担心 资源 而 能 随意 创建 并 发 任务 有 着 革命 性 
意义 。 


你 也 许 注意 到 了 go 返回 的 是 一 个 channel (thread 也 是 返回 
channel) 。go 块 运行 完成 时 会 将 结果 写 到 这 个 channel 中 : 


channels.core 


=> (<!! (go (+ 3 4))) 
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ere 函数 会 创建 大 量 go 块 ， 从 结果 可 以 看 出 go 块 的 成 本 是 
í J: 


CSP/channels/src/channels/core.clj 


(defn 


go-add [x y] 
(<!! (nth 


(iterate 


#(go (inc 


(<! %))) (go x)) y))) 


IX PS BAY Be ee AE ee AEB oo EE Ty 个 go 块 形成 
的 流水 线 ， 其 中 每 一 个 go 块 都 将 其 参数 加 1 。 

来 分 析 一 下 其 工作 过 程 的 每 个 阶段 : 

1. 匿名 函数 #(go (inc (<! %))) 创建 了 一 个 go 块 ， 这 个 go 块 接受 
一 个 channel， 从 中 读 出 一 个 值 ， 并 返回 一 个 channel (其 中 包含 了 递增 
后 的 值 ) ; 

2. 上 述 匿 名 函数 被 传 给 iterate ，iterate 使 用 的 初始 值 是 (go x) 
(这 个 channel 中 只 包含 x ) 。 回 忆 一 下 ，iterate 会 返回 如 下 形式 的 
懒惰 数组 : (x (f x) (fF (f x)) (f (f (f x))) ...):; 


3. 使 用 nth 读 出 上 述 数组 中 第 y 个 元 素 ， 这 是 一 个 channel， 其 中 的 值 
征 将 x 递增 y 次 的 结 


4. 使 用 <11 从 上 述 channel 中 读 出 结果 。 
来 测试 一 下 这 段 代 码 : 


channels.core=> 


(time (go-add 10 10)) 


"Elapsed time: 1.935 msecs" 
20 


channels.core=> 

(time (go-add 10 1000) ) 
"Elapsed time: 5.311 msecs" 
1010 
channels.core=> 

(time (go-add 10 100000) ) 


"Elapsed time: 734.91 msecs" 
100010 


可 以 看 到 ， 创 建 并 运行 100 000 个 go 块 需要 花费 3/4 秒 。 这 意味 着 go 块 的 
性 能 比 起 Elixir 的 进程 毫 不 逊色 这 个 成 绩 非常 优秀 ， 因 为 Elixir 运 行 
在 以 并 发 性 能 为 设计 主旨 的 Erlang 虑 拟 机 中 ， 而 Clojure 却 是 运行 在 JVM 
中 fe) 


我 们 已 经 学 习 了 channel 和 go 块 这 两 种 技术 ， 现 在 可 以 将 两 者 结合 使 
用 ， 构 造 出 更 复杂 的 channel 操 作 。 


在 channel 上 进行 操作 

如 果 你 感觉 channel 与 数组 有 些 相像 ， 那 你 并 没有 错 。 与 数组 类 似 ， 
channel 代 表 了 一 系列 有 序 的 值 ; 我 们 可 以 将 一 些 高 级 函数 施加 在 
channel 中 的 全 部 元 素 上 一 一 比如 map WAL. Filter 函数 等 ; 我们 还 
可 以 将 这 些 函 数 串 联 起 来 ， 构 建 复 杂 的 操作 。 

在 channel 上 进行 映射 

下 面 是 channel 版 的 map 函数 : 


CSP/channels/src/channels/core.clj 


(defn 


map-chan [f from] 
(let 


[to (chan) ] 


(go-loop [] 
(when- let 


[x (<! from) ] 
(>! to (f x)) 
(recur 


)) 
(close! to)) 
to)) 


这 个 函数 接受 一 个 函数 f 和 一 个 源 channel from 。 首 先 ， 这 段 代码 创建 
了 一 个 目标 channel to, to 将 作为 函数 的 返回 值 。 然 后 ， 使 用 go - 
loop 创建 一 个 go 块 ，go- Loop 是 一 个 辅助 函数 ， 等 价 于 (go (loop 
,,, ) ) 。 循 环 体 中 使 用 when-let 从 from 中 读 出 值 并 绑 定 到 x 上 。 如 
Rx 不 为 hull ， 则 when-let 中 的 代码 会 被 执行 ，(f x) BREA 
to 中 ， 并 且 循 环 会 继续 进行 。 如 果 x null, to 会 被 关闭 。 


测试 一 下 这 个 函数 : 


channels.core=> 


(def ch (chan 10) ) 
#'channels.core/ch 
channels.core=> 

(def mapped (map-chan (partial * 2) ch)) 
#'channels.core/mapped 
channels.core=> 

(onto-chan ch (range 0 10)) 
#<ManyToManyChannel 


clojure.core.async.impl.channels .ManyToManyChannel@9f3d43e> 
channels.core=> 


(<!! (async/into [] mapped) ) 


[0 2 4 6 8 10 12 14 16 18] 


按照 惯例 ，core.async 提供 了 类 似 于 map -chan 的 函数 map<。 它 
还 提供 了 filter Achannelikfilter< »mapcat 的 channel 版 
mapcat< ， 等 等 。 我 们 还 可 以 组 合 使 用 这 些 函 数 ， 串 联 成 一 个 channel 
的 处 理 链 : 


channels.core=> 


(def ch (to-chan (range 0 10))) 


#'channels.core/ch 
channels.core=> 


(<!! (async/into [] (map< (partial * 2) (filter< even? ch)))) 


[9 4 8 12 16] 


上 面 这 段 代 码 使 用 了 core .async 提供 的 另 一 个 辅助 函数 to-chan , 
其 创建 并 返回 一 个 channel， 这 个 channel 中 包含 了 输入 数组 中 的 所 有 元 
素 ， 在 数组 中 的 元 素 用 尽 后 这 个 channel 会 关闭 。 

现在 来 做 一 个 有 趣 的 试验 ， 以 此 为 第 一 天 的 学 习 做 个 结尾 。 

并 发 版 本 的 埃 氏 篇 


我 们 现在 来 实现 一 个 并 发 版 本 的 埃 氏 筛 4。get -primes 函数 会 返回 一 
个 channel， 其 中 包含 了 limit 以 内 (limit) 的 所 有 素数 局 
大 排列 ) : 


“ 埃 拉 托 斯 特 尼 (Eratosthenes) iid, 简称 埃 氏 和 划 ， 是 一 种 检定 素数 的 简易 算法 。 一 一 译 者 


CSP/Sieve/src/sieve/core.clj 


(defn 


factor? [x y] 
(zero? 


(mod 
y x))) 
(defn 


get-primes [limit] 
(let 


[primes (chan) 
numbers (to-chan (range 


2 limit))] 
(go-loop [ch numbers] 
(when- let 


[prime (<! ch)] 
(>! primes prime) 
(recur 


(remove< (partial 


factor? prime) ch))) 
(close! primes) ) 
primes) ) 


稍 后 将 简要 介绍 这 段 代 码 的 工作 原理 (建议 你 先 自己 整理 一 下 思路 

a e e 绍 过 了 ) 。 我 们 还 是 先 来 验证 一 下 
其 正确 性 。 下 面 的 main 函数 会 调用 get - primes ， 并 输出 其 返回 的 
channel 中 的 所 有 值 : 


CSP/Sieve/src/sieve/core.clj 


(defn 


-main [limit] 
(let 


[primes (get-primes (edn/read-string limit) )] 
(loop [] 


(when- let 


[prime (<!! primes) ] 


(println 


prime) 
(recur 


) ) ) ) ) 


运行 一 下 ， 会 得 到 以 下 结 采 : 


$ lein run 100000 


现在 来 介绍 get -primes 的 工作 原理 。 首 先 ， 创 建 一 个 channel 
primes , primes 将 作为 函数 的 返回 值 。 然 后 ， 进 入 循环 ，ch 的 初 
台 值 是 numbers , to-chan 负责 将 从 2 到 1imit 之 间 的 整数 写 入 
numbers 。 


首先 ,循环 从 ch 中 读 取 第 一 个 元 素 ， 这 个 元 素 肯 定 是 素数 (之 后 会 解 
释 原因 ) ， 所 以 将 被 写 入 primes 。 然 后 ， 进 入 下 一 轮 循环 ， 与 第 一 轮 
循环 不 同 的 是 ch 的 值 变 为 (remove< (partial factor? prime) 
ch) 的 结果 。 


remove< 函数 类 似 于 filter< ， 区 别 在 于 它 返 回 一 个 channel， 其 中 
只 包含 断言 为 false 的 值 。 在 本 例 中 ， 这 排除 了 以 上 一 轮 认定 的 素数 
为 因子 的 所 有 数 。 


综 上 所 述 ，get-primes 创建 了 一 个 channel 的 流水 线 。 第 一 个 channel 
包含 从 2 到 1imit 的 所 有 整数 ， 第 二 个 channel 排 除了 以 2 为 因子 的 所 有 
ae 以 3 为 因子 的 所 有 整数 ， 以 此 类 推 (如 图 6- 
2 所 不 


2131415|16|718|9jol1l12113|1415116j17|18|19j20|21|22|23|24|25 


(remove< (factor? 2 ...) ...) 


[sl [sls T Ie [e frofsfi2fis)iafis}iofr7]ieft9]20 fet llslesles) 


(remove< (factor? 3 ...) ...) 


is} 6 E 2) eg bs) bs) fe) be) e] Bs) ps] 


(remove< (factor? 5 ...) ...) 


[5] E] 23] [25 


图 6-2 并 发 版 本 的 埃 氏 第 

硕 望 大 家 不 要 误会 ， 上 面 这 个 例子 并 不 是 实现 并 行 埃 氏 筛 的 最 佳 方法 
它 为 了 演示 功能 而 滥用 了 channel。 不 过 这 很 好 地 演示 了 如 何 将 
channel 组 合 在 一 起 实现 某 种 特定 的 通信 模式 。 

第 一 天 总 结 


第 一 天 的 学 习 即 将 结束 。 第 二 天 将 学 习 如 何 从 多 个 channel 中 读 出 数 
据 ， 以 及 如 何 用 channel 和 go 块 构造 IO 密集 型 的 程序 。 


第 一 天 我 们 学 到 了 什么 
core.async 的 两 大 基石 是 channel 和 go 块 : 


。 默认 情况 下 ，channel 是 同步 的 (无 缓存 的 ) 向 一 个 channel 写 
入 数据 的 操作 将 一 直 被 阻塞， 直到 另 一 个 任务 从 channel 中 读 出 消 


channel 也 可 以 是 有 缓存 的 。 在 缓存 区 已 满 时 可 以 使 用 不 同 的 缓存 
策略 阻塞 型 (blocking) 、 弃 用 新 值 型 (dropping) 和 移出 旧 
值 型 (sliding) ; 

通过 控制 反 转 ，go 块 将 串 行 代码 重 写成 一 个 状态 机 。go 块 不 会 进 
行 阻塞 ， 而 是 暂停 状态 机 ， 这 样 当 前 所 处 的 线程 就 可 以 为 男 一 个 
go 块 所 使 用 ，; 


channel 操 作 的 阻塞 版 本 的 函数 名 是 以 两 个 感叹 号 (!11 ) 结尾 ， 而 
暂停 版 本 的 函数 名 是 以 一 个 感叹 号 (! ) 结尾 。 


第 一 天 自习 
查找 

。 阅读 core .async 的 官方 文档 。 

。 观看 Timothy Baldridge 的 视频 教程 “Core Async Go Macro 
Internals”， 或 阅读 Huey Petersen 的 博文 “The State Machines of 
core.async”°。 这 两 篇 文献 都 描述 了 go 安 是 如 何 实现 控制 反 转 的 。 

实践 

。 本 节 的 map-chan 创建 并 返回 了 一 个 同步 的 (无 缓存 的 ) 

channel。 如 果 其 使 用 一 个 有 绥 存 的 channel 会 发 生 什么 ? 哪 一 种 选 
PERE? 什么 情况 下 适用 有 缓存 的 channel? 

core.async 不 仅 提 供 了 map< ， 还 提供 了 map> 。 这 两 者 有 什么 
区 别 ? 尝试 自己 实现 一 个 nap>。map< 和 map> 分 别 适 用 于 什么 
场景 ? 

实现 一 个 基于 channel 的 并 行 map 函 数 〈 类 似 于 Clojure 中 的 pmap K 
数 ， 或 者 类 似 于 在 前 面 章节 中 用 Elixir 实 现 的 并 行 map 画 数 ) 。 
6.3 ”第 二 天 : 多 个 channel 与 IO 


今天 将 学 习 如 何 使 用 core .async 库 ， 让 异步 I0 的 处 理 变 得 简洁 易 
懂 。 在 此 之 前 ， 需 要 先 了 解 一 个 之 前 没有 提 及 的 特性 一 一 如 何 同时 处 


理 多 个 channel 。 


处 理 多 个 channel 


到 目前 为 止 ， 我 们 在 某 个 时 间 仅 处 理 一 个 channel， 但 我 们 能 做 的 并 不 
仅 限 于 此 。 使 用 alt! 安 可 以 处 理 多 个 channel 


channels.core=> 


(def ch1 (chan) ) 


#'channels.core/chi 
channels.core=> 
(def ch2 (chan) ) 


#'channels.core/ch2 
channels.core=> 


(go-loop [] 
# => (alt! 
# => chi ([x] (println "Read" x "from channel 1")) 
#_=> ch2 ([x] (printin "Twice" x "is" (* x 2)))) 


#_=> (recur) ) 


#<ManyToManyChannel 
clojure.core.async.impl.channels .ManyToManyChannel@d8fd215> 
channels.core=> 


(>!! ch1 "foo") 
Read foo from channel 1 
nil 
channels.core=> 


(>!! ch2 21) 


Twice 21 is 42 
nil 


这 上段 代码 中 ， 首 先 创建 了 两 个 channel: ch1 和 ch2 ， 然 后 创建 了 一 个 
go 块 ， 其 会 不 断 循环 并 使 用 alt! 从 两 个 channel 中 读 取 数据 。 如 果 能 从 
chi 中 读 取 数据 ， 那 么 将 数据 直接 输出 ; 如果 能 从 ch2 中 读 取 数据 ， 
那么 将 数据 翻 倍 后 再 输出 。 


从 这 段 代 码 中 很 容易 就 能 理解 alt! 宏 的 工作 原理 一 一 它 接 受 成 对 的 参 
数 ， 每 对 的 第 一 个 参数 是 一 个 channel， 第 二 个 参数 是 一 段 代 码 ， 从 
channel 中 读 出 数据 后 将 执行 这 段 代 码 。 在 本 例 中 ， 这 段 代码 看 上 去 像 
古 一 个 匿名 函数 ， 从 channel 中 读 出 的 值 被 风 给 x ， 并 通过 println 输 
出 。 但 它 实 质 上 并 不 是 匿名 函数 一 一 它 没 有 使 用 fn 构造 匿名 函数 。 


这 就 是 Clojure 的 宏 系 统 施加 的 男 一 个 魔法 ， 比 起 使 用 匿名 函数 ，alt! 
宏 的 这 种 用 法 显得 更 简洁 高 效 。 
小 乔 爱 问 : 
如 果 是 向 多 个 channel 中 写 入 数据 呢 ? 
我 们 刚才 只 是 学 习 了 alt! AYRE 类 似 于 从 多 个 channel 读 出 
ae, alt! 宏 也 可 以 用 于 癌 多 个 channel 写 入 数据 ， 或 者 将 读 写 间 
用 。 本 书 并 不 会 涉及 这 种 用 法 ， 如 果 读 者 想 深 入 了 解 alt! ， 可 以 
查看 官方 文档 。 
超时 


timeout 函数 返回 一 个 channel， 这 个 channel 在 指定 的 时 间 (LARA 
单位 ) 过 后 会 被 关闭 : 


channels.core=> 


(time (<!! (timeout 10000) ) ) 


"Elapsed time: 10001.662 msecs" 
nil 


timeout Salt! 一 起 使 用 ， 可 以 为 channel 操 作 设 置 超 时 时 间 ， 比 
如 : 


channels.core=> 


(def ch (chan)) 


#'channels.core/ch 
channels.core=> 


(let [t (timeout 10000) ] 


#_=> (go (alt! 


#_=> ch ([x] (println "Read" x "from channel") ) 


# => t (println "Timed out")))) 


#<ManyToManyChannel 
clojure.core.async.impl.channels .ManyToManyChannel@28134be9> 
channels.core=> 


Timed out 


设置 超时 并 没有 什么 新 鲜 ， 但 这 种 方法 使 得 超时 具象 化 了 (用 一 个 对 
象 来 代表 超时 操作 ) ， 稍 后 将 会 看 到 这 项 改进 是 非常 有 用 的 。 


具象 化 的 超时 


大 部 分 系统 是 以 请 求 为 对 象 来 设置 超时 时 间 的 ， 比 如 Java 的 
URLConnection 类 提供 的 setReadTimeout( ) 方法 。 如 果 服 务 器 
在 一 定时 间 内 没有 响应 ，read( ) 会 抛 出 异常 IOException 。 


这 只 适用 于 对 单个 请 求 设置 超时 时 间 ， 如 有 果 要 为 儿 个 串 行 的 请 求 设置 
一 个 总 的 超时 时 间 ， 上 壕 方法 就 不 能 解决 问题 ， 而 具象 化 的 超时 却 可 
7 a ey 并 在 串 行 的 几 个 请 求 中 都 使 用 这 个 超 
DES o 


为 说 明 这 一 点 ， 我 们 将 昨天 创建 的 素数 和 稍微 修改 一 下 ， 使 其 不 接受 
而 是 接受 一 个 时 间 。 和 又 数 角 将 在 规定 时 间 内 尽 可 能 多 地 产 


先 修 改 get -primes ， 使 其 不 断 产 生 素数 : 


CSP/SieveTimeout/src/sieve/core.clj 


(defn 


get-primes [] 
(let 


[primes (chan) 
> numbers (to-chan (iterate inc 


2))] 
(go-loop [ch numbers] 
(when- let 


[prime (<! ch)] 
(>! primes prime) 
(recur 


(remove< (partial 
factor? prime) ch))) 


(close! primes) ) 
primes) ) 


之 前 channel 的 初始 值 是 由 (range 2 limit) 产生 的 ， 而 这 次 是 用 无 
穷 数组 (iterate inc 2) 。 


下 面 的 代码 使 用 了 get -primes : 


CSP/SieveTimeout/src/sieve/core.clj 


(defn 


-main [seconds] 
(let 


[primes (get-primes) 
limit (timeout (* (edn/read-string seconds) 1000))] 
(loop 


> (alt!! :priority true 
> limit nil 
> primes ([prime] (printin 


prime) (recur 


)))))) 


这 段 代 码 中 使 用 了 alt!1! ， 如 你 所 料 ， 它 是 alt! 的 阻塞 版 本 。 这 上 段 
代码 中 的 alt 11 将 进行 阻塞 ， 直 到 产生 了 一 个 新 的 素数 ， 或 者 到 达 设 
置 的 超时 时 间 1imit 而 返回 vil 。:priority true 选项 确保 了 
alt!! FA (都 可 以 执行 时 是 按 代码 顺序 执行 的 (默认 情况 下 ， 
如 有 果 两 个 子 句 都 可 以 执行 ， 它 们 执行 的 顺序 是 不 确定 的 ， 这 样 就 尽 
量 避 免 了 由 于 产生 素数 的 速度 过 快 而 导致 超时 的 子 句 无 法 执行 的 情 
况 。 这 个 例子 展示 了 如 何 自 然 地 设置 超时 时 间 一 一 相 比 为 每 个 请 求 设 
置 超时 时 间 ， 这 种 方式 显得 更 加 自然 。 


下 一 市 将 使 用 超时 机 制 和 Clojure 的 宏 系统 来 构建 一 个 辅助 工具 ， 它 适 
用 于 一 个 普遍 的 场景 一 一 轮 询 。 


异步 轮 询 

稍 后 我 们 将 构建 一 个 RSS 阅 读 器 。RSS 阅 读 器 需要 轮 询 指定 的 新 闻 feed 
来 检测 是 否 有 新 的 文章 。 本 万 我 们 将 使 用 超时 机 制 和 Clojure 的 安 系 统 
来 构建 一 个 辅助 工具 ， 它 可 以 轻松 高 效 地 进行 异步 轮 询 。 

轮 询 画 数 

要 实现 轮 询 功能 ， 需 要 用 到 之 前 提 到 的 timeout 函数 。 下 面 这 个 函数 
接受 两 个 参数 ， 轮 询 周 期 (以 秒 为 单位 ) 和 一 个 函数 ， 这 个 函数 每 隔 
一 个 轮 询 周期 会 被 调用 一 次 : 


CSP/Polling/src/polling/core.clj 


(defn 


poll-fn [interval action] 
let 


[seconds (* interval 1000) ] 
(go (while 


true 


(action) 
(<! (timeout seconds)))))) 


这 个 函数 十 分 简单 ， 并 且 能 正 币 运行 : 
polling.core=> 


(poll-fn 10 #(println "Polling at:" (System/currentTimeMillis ) ) ) 


#<ManyToManyChannel 


clojure.core.async.impl.channels .ManyToManyChannel@6e624159> 
polling.core=> 


Polling at: 1388827086165 
Polling at: 1388827096166 
Polling at: 1388827106168 


不 过 这 里 有 一 个 问题 一 一 也 许 你 看 到 po11-fn fEgoRR PATE ABER 
数 进行 调用 的 ， 因 此 就 认为 传 入 的 函数 中 可 以 调用 暂停 函数 。 如 果 这 
FEL, ACE LE eR: 

polling.core=> 


(def ch (to-chan (iterate inc 0))) 


#'polling.core/ch 
polling.core=> 


(poll-fn 10 #(printin "Read:" (<! ch))) 


Exception in thread "async-dispatch-1" java.lang.AssertionError: 
Assert failed: <! used not in (go ...) block 
nil 


问题 的 原因 在 于 和 暂停 函数 必须 直接 在 go 块 中 调用 一 一 在 这 一 点 上 
Clojure 的 宏 魔 法 也 无 能 为 力 。 


轮 询 宏 
之 前 使 用 函数 进行 轮 询 ， 而 男 一 种 轮 询 的 方法 是 使 用 宏 : 


CSP/Polling/src/polling/core.clj 


(defmacro 


poll [interval & body] 
`(let 


[seconds# (* ~interval 1000)] 
(go (while 


true 
(do 


~@body ) 
(<! (timeout seconds#)))))) 


0 站 绍 Clojure 的 宏 ， 因 此 你 只 能 暂且 接受 本 节 的 内 容 。 稍 
会 详细 讲解 poll 的 工作 原理 ， 下 面 这 文 儿 点 会 会 帮助 我 们 理解 其 工作 原 
理 o 
。 编译 系统 不 是 直接 编译 安 ， 而 是 编译 宏 展开 后 的 代码 。 


。 反 引号 C) 是 一 个 运算 符 ， 用 于 引用 代码 。 它 并 不 执行 其 中 的 代 
码 ， 而 是 返 回 代码 的 可 编译 形式 。 


。 在 安 中 ， 可 以 通过 ~ 和 ~@ 操作 符 来 引用 宏 的 参数 。 


。 在 变量 名 后 使 用 # 后 级， 可 以 让 Clojure 自 动 生成 一 个 唯一 名 字 (以 
确保 宏 使 用 的 变量 名 和 传 给 宏 的 代码 中 的 变量 名 不 会 冲突 ) 。 


polling.core=> 


(poll 10 


#_=> (println "Polling at:" (System/currentTimeMillis)) 


# => (println (<! ch))) 


#<ManyToManyChannel 


clojure.core.async.impl.channels .ManyToManyChannel@1bec079e> 
polling.core=> 


Polling at: 1388829368011 
0 
Polling at: 1388829378018 
1 


由 于 宏 古 在 编译 时 展开 ， 因 此 传 给 p011 的 代码 是 内 联 的 (inlined) ， 

会 被 直接 替换 到 po11 的 go 块 中 ， 也 就 是 说 代码 中 可 以 包含 暂 集 函数 。 
使 用 宏 的 好 处 不 只 如 此 。 我 们 不 必 再 传 入 一 个 完整 的 钞 数 ， 而 是 传 入 
一 个 代码 片段 ， 这 样 束 不 用 再 借助 匿名 函数 ， 进 而 代码 看 上 去 会 更 目 

然 。 事 实 上 ， 我 们 创建 了 一 种 〈 不 同 于 函数 的 ) 控制 结构 。 


通过 展开 po11 可 以 检查 它 是 否 正确 : 


polling.core=> 


(macroexpand-1 
# => "(poll 10 


#_=> (println "Polling at:" 
(System/currentTimeMillis) ) 


(printin (<! ch)))) 


(clojure.core/let [seconds 2691 auto (clojure.core/* 10 1000) ] 
(clojure.core.async/go 
(clojure.core/while true 
(do 
(println "Polling at:" (System/currentTimeMillis ) ) 
(println (<! ch))) 
(clojure.core.async/<! (clojure.core.async/timeout 
seconds __2691__auto__))))) 


为 了 方便 阅读 ， 本 书 对 上 面 代码 中 macroexpand-1 的 输出 结果 进行 
了 格式 上 的 调整 。 可 以 看 到 ， 传 给 po11 的 代码 被 “粘贴 ?到 了 安 的 代码 
H, #Hseconds# 被 转换 成 了 一 个 唯一 名 字 (如 果 传 给 po11 的 代码 
H, seconds 这 个 名 字 有 其 他 用 途 ， 那 么 这 个 转换 就 尤为 必要 了 ) 。 


下 一 市 的 例子 中 会 使 用 poll 安 。 


异步 IO 


在 IO 这 个 领域 ， 异 步 代 码 吴 手 不 凡 一 一 与 传统 的 一 个 线程 进行 一 个 连 

接 不 同 ， 异步 10 可 以 一 下 进行 很 多 连接 ， 当 其 中 有 一 个 连接 的 数据 可 

用 时 ， 会 收 到 一 个 通知 。 这 古 一 个 很 强大 的 技术 ， 但 使 用 起 来 也 左 具 

挑战 性 ， 因 为 异步 代码 往往 会 是 回调 舱 套 回调 ， 慢 慢 演变 成 一 团 糟 。 

本 市 我 们 来 学 习 core.async 是 如 何 让 异步 代码 变 得 简洁 的 。 

继续 前 几 章 词 频 统计 的 例 季 ， 本 世 将 创建 一 个 RSS 阅 读 器 ， 用 来 监听 新 
闻 feed， 当 检测 到 新 的 文章 时 进行 词 数 统计 。 我 们 将 创建 若干 并 发 的 
go 块 ， 并 将 其 用 channel 连 接 成 一 个 流水 线 : 

5 与 前 几 章 不 同 ， 此 处 只 统计 词 数 ， 而 不 统计 词 频 。 一 一 译 者 注 


1. 底层 的 go 块 用 于 监听 某 个 feed， 每 60 秒 进行 一 次 轮 询 。 它 首先 解析 轮 
询 得 到 的 XML， 然 后 从 中 提取 出 文章 的 链接 ， 最 后 将 其 传 给 流水 线 。 


2. 下 一 层 的 go 块 维护 了 从 某 个 feed 中 收 到 的 文章 链接 的 列表 。 当 它 发 现 
一 篇 新 的 文章 时 ， 就 将 文章 的 链接 传 给 流水 线 。 


3. 下 一 层 的 go 块 依次 接受 新 的 文章 链接 ， 并 统计 文章 中 的 词 数 ， 再 将 
计数 结 采 传 给 流水 线 。 


4. 将 多 个 feed 的 计数 结果 合并 到 一 个 channel 中 。 


5. 最 高 层 的 go 块 监 听 合并 后 的 channel， 当 有 新 的 计数 结果 产生 时 ， 将 
该 结果 输出 。 


整个 流水 线 的 结构 如 图 6-3 所 示 。 


新 闻 feed 


em] fas} for] r aa 
pe 


图 6-3 ”RSS 阅读 器 的 结构 
先 来 看 看 如 何 将 一 个 现成 的 异步 IO 库 集成 到 core.async 中 。 


从 回调 转向 channel 


本 例 将 使 用 http-kit 库 5&。 与 许多 异步 IO 库 类 似 ， 当 一 个 操作 完成 时 ， 
http-kit 会 调用 回调 函数 : 


| 6 http://http-kit.org 


wordcount.core=> 


(require '[org.httpkit.client :as http]) 
nil 
wordcount.core=> 
(defn handle-response [response] 
#_=> (let [url (get-in response [:opts :url]) 


#_=> status (:status response) ] 


# => (println "Fetched:" url "with status:" 


status) ) ) 


#'wordcount.core/handle-response 
wordcount.core=> 


(http/get "http://paulbutcher.com/" handle-response) 


#<core$promise$reify__6310@3a9280d0: 


:pending> 
wordcount.core=> 


Fetched: http://paulbutcher.com/ with status: 200 


现在 的 任务 是 对 http/get 进行 封装 ， 将 http-kit 集 成 天 core ,async 
中 。 这 里 将 用 到 一 个 陌生 的 函数 put! ， 它 不 必 在 go 块 中 调用 。 它 可 以 
向 channel 写 入 数据 ， 与 之 前 不 同 ， 它 只 是 发 起 写 入 而 并 不 关心 结 

〈 既 不 会 进行 阻塞 也 不 会 进行 暂停 ) : 


CSP/WordCount/src/wordcount/http.clj 


(defn 


http-get [url] 
(let 


[ch (chan) ] 
(http/get url (fn 


[response] 
(if 
(= 200 (:status response)) 


(put! ch response) 
(do 


(report-error response) (close! ch))))) 
ch)) 


这 段 代 码 首先 创建 了 一 个 channel， 它 将 作为 函数 的 返回 值 (你 应 该 已 
经 很 熟悉 这 个 模式 了 ) ; 然后 调用 了 http/get ， 并 立刻 返回 。 在 未 
来 某 个 时 间 ， 当 GET 操 作 完 成 时 ， 回 调 函 数 将 被 调用 。 如 有 果 GET 操 作 
返回 的 状态 是 200 (表示 成 功 ) ， 回 调 函 数 会 将 GET 操 作 的 响应 内 容 写 


入 channel;， 如 果 状 态 不 是 200， 回 调 函 数 会 报告 一 个 错误 并 关闭 


channel ° 
下 一 节 将 创建 轮 询 RSS feed 的 函数 。 
轮 询 feed 


我 们 已 经 有 了 http-get 和 poll ， 如 你 所 料 ， 通 过 简单 的 代码 就 可 以 
轮 询 RSS feed: 


CSP/WordCount/src/wordcount/feed.clj 


(def 
poll-interval 60) 


; Simple-minded feed-polling function 


; WARNING: Don't use in production (use conditional get instead) 


(defn 


poll-feed [url] 
(let 


[ch (chan) ] 
(poll poll-interval 
(when- let 


[response (<! (http-get url))] 
(let 


[feed (parse-feed (:body response) ) ] 
(onto-chan ch (get-links feed) false)))) 


ch) ) 


parse-feed #llget - links 这 两 个 函数 会 使 用 Rome 库 7 来 解析 feed 所 
。 本 书 不 再 介绍 这 两 个 函数 ， 你 可 以 在 本 书 配套 代码 中 找 
| 它们 。 


4 http://rometools.github.io/rome/ 


get-links 会 返回 链接 的 列表 ， 通 过 onto-chan 将 这 个 列表 写 入 ch 
。 默 认 情 况 下 ，onto-chan 会 在 写 完 列表 后 关闭 channel， 这 里 通过 设 
置 onto-chan 的 最 后 一 个 参数 使 其 不 天 闭 channel 。 


来 测试 一 下 poll-feed : 


wordcount.core=> 


(ns wordcount. feed) 


nil 
wordcount.feed=> 


(def feed (poll-feed "http: //www.cbsnews.com/feeds/rss/main.rss") ) 


#'wordcount.feed/feed 
wordcount.feed=> 


(loop [] 


#_=> (when-let [url (<!! feed) ] 


(println url) 


(recur) ) ) 


http: //www.cbsnews.com/news/three- year -old-dies-after-visit-to- 
dentist -in-hawaii/ 

http://www. cbsnews.com/news/obama-unemployment -benefits-expiration- 
just-plain-cruel/ 

http: //www.cbsnews.com/news/rand -paul-says-hes-suing-over -nsa- 
surveillance-programs/ 


下 面 来 看 看 如 何 对 po11-feed 所 返回 的 链接 进行 去 重 。 
请 勿 轻易 尝试 


对 于 本 书 来 说 ， 用 这 样 们 单 的 轮 询 俩 略 来 举例 是 为 了 方便 理解 ， 
请 不 要 在 产品 环境 中 使 用 这 个 策略 。 轮 询 时 每 次 都 获取 完整 的 feed 


是 不 必要 的 ， 这 会 增加 网 络 带宽 的 压力 和 被 轮 询 服务 器 的 压力 ， 
可 以 通过 HTTP 的 条 件 GETa 来 减 小 压力 。 


a. http://fishbowl.pastiche.org/2002/10/21/http_conditional_get_for_rss_hackers/ 
对 链接 进行 去 重 
poll-feed 函数 进行 轮 询 时 ， 会 返回 feed 中 所 有 的 链接 ， 其 中 包 合 大 
量 重复 的 链接 。 我 们 需要 的 channel 应 该 只 包含 feed 中 出 现 的 新 链接 。 可 
以 用 下 面 这 个 函数 达到 目的 ; 


CSP/WordCount/src/wordcount/feed.clj 


(defn 


new-links [url] 
(let 


[in (poll-feed url) 


out (chan) ] 
(go-loop [links #{}] 
(let 


[link (<! in)] 
(if 


(contains 


? links link) 
(recur 


links) 
(do 


(>! out link) 
(recur (conj 


links link)))))) 
out) ) 


首先 ， 这 段 代 码 创建 了 两 个 channel: in 和 out ° in @Hpoll-feed 
函数 返回 的 ;feed 中 的 新 链接 将 被 写 入 out 。 这 段 代码 在 go 块 中 进行 了 
一 个 循环 ， 用 于 维护 目前 接收 到 的 链接 的 集合 Links , links 的 初始 


值 是 空 集 合 #{}。 每 当 从 in 中 读 出 一 个 链接 时 ， 束 需要 检查 links 中 
是 否 已 存在 该 链接 。 如 果 已 经 存在 ， 就 什么 也 不 做 ; 否则 就 将 其 写 入 
out 并 添加 到 Links 中 。 


在 REPL 中 测试 一 仆 ， 这 次 不 再 会 每 隔 60 秒 输出 一 堆 链 接 ， 而 是 仅 在 检 
测 到 新 链接 时 才 会 有 输出 。 


现在 我 们 已 经 从 feed 中 获取 了 新 文章 的 链接 ， 接 下 来 就 可 以 依次 获取 文 
章 的 内 容 并 统计 词 数 了 。 


统计 词 数 
根据 之 前 所 学 的 知识 ， 很 容易 惑 可 以 实现 get -counts 函数 : 


CSP/WordCount/src/wordcount/core.clj 


(defn 


get-counts [urls] 
(let 


[counts (chan) ] 
(go (while 


true 
(let 


[url (<! urls)] 
(when- let 


[response (<! (http-get url))] 
(let 


[c (count 


(get-words (:body response) )) ] 
(>! counts [url c])))))) 


counts) ) 


这 段 代 码 接受 一 个 channel urls ， 对 于 从 中 读 出 的 每 一 个 链接 ， 使 用 
http-get 来 获取 文章 的 内 容 ， 统 计 其 中 的 词 数 ， 并 将 结果 写 入 返回 
的 channel 中 。 统 计 词 数 的 结果 是 一 个 二 元 数组 ， 其 中 第 一 个 元 素 是 文 
章 的 链接 ， 第 二 个 元 素 是 文章 的 词 数 。 


万 事 俱 备 ， 只 差 将 各 个 部 分 组 装 起 来 。 

组 装 

下 面 这 个 main 函数 实现 了 完整 的 RSS 词 数 统计 功能 : 
CSP/WordCount/src/wordcount/core.clj 


Line 1 (defn 


-main [feeds-file] 
2 (with-open 


[rdr (io/reader feeds-file) ] 
(let 


[feed-urls (line-seq 


rdr) 
4 article-urls (doall 


(map 


new-links feed-urls) ) 
5 article-counts (doall 


(map 


get-counts article-urls) ) 
6 counts (async/merge article-counts) ] 
7 (while 


true 
8 (printin 


(<!! counts)))))) 


这 个 函数 接受 一 个 文件 名 作为 参数 ， 该 文件 包含 了 多 个 feed 的 URL， 
行 一 个 URL。 首 先 ， 这 段 代码 创建 了 一 个 文件 读 取 器 (第 2 行 ) 

(Clojure 中 的 with-open 范 数 确保 当代 码 运 行 到 其 作用 范围 之 外 时 ， 
文件 会 被 关闭 ) ; 然后 ， 通 过 line-seq (第 3 行 ) 从 文件 读 取 器 中 获 
取 URL 的 列表 ， 并 对 URL 列 表 施加 映射 操作 (映射 画 数 是 new-1inks 
) 以 将 其 转换 为 channel 的 序列 (第 4 行 ) ， 当 检测 到 某 个 feed 中 有 新 的 
链接 时 ， 新 的 链接 就 会 被 写 入 对 应 的 channel 中 ; 接 下 来 ， 对 channel 的 
序列 施加 映射 操作 (映射 函数 是 get-counts ) 以 得 到 另 一 个 channel 


的 序列 (第 5 行 ) ， 当 检测 到 某 个 feed 中 有 新 的 链接 时 ， 链 接 指向 的 文 
章 的 词 数 融会 被 写 入 这 个 序列 中 对 应 的 channel 中 。 


最 后 ， 函数 〈 第 6 行 ) 来 将 这 个 channel 序 列 合并 为 
一 个 单独 的 channel， 其 包含 了 原始 channel 序 列 中 的 所 有 内 容 。 代 码 会 
一 直 循 环 下 去 (BT) ， ， 输出 所 有 窟 入 合并 后 的 channel 中 的 词 数 oe 
结果 。 来 测试 一 下 : 


$ 


lein run feeds.txt 


[http://www.bbc.co.uk/sport/0/football/25611509 10671] 
[http://www.wired.co.uk/news/archive/2014-01/04/time-travel 11188] 
[http://news.sky.com/story/1190148 3488] 


在 这 段 程序 运行 时 监测 一 下 CPU 的 使 用 情况 ， 会 发 现 这 段 代 码 不 仅 简 
nee 它 可 以 同时 检测 数 百 个 feed， 但 只 占用 少量 
CPU 资 ; 


小 乔 爱 问 : 

为 什么 使 用 无 缓存 的 channel? 

回顾 一 下 今天 创建 的 所 有 channel 它们 全 都 是 无 缓存 的 (同步 
的 ) 。 学 习 CSP 模 型 的 新 手 往往 会 认为 有 缓存 的 channel 会 比 无 缓 
存 的 channel 应 用 更 为 广泛 ， 但 实际 情况 恰恰 相反 。 有 一 些 场景 适 


合 使 用 有 缓存 的 channel， 但 在 使 用 前 务必 深思 熟 虐 ， 一 定 要 确认 
使 用 缓存 的 必要 性 。 


第 二 天 总 wi 


我 们 完成 了 第 二 天 的 学 习 。 第 三 天 将 学 习 在 客户 端 如 何 通过 
ClojureScript 使 用 core.async 库 。 


第 二 天 我 们 学 到 了 什么 


使 用 channel 和 go 块 ， 可 以 写 出 高 效 的 异步 代码 ， 同 时 代码 的 表达 也 非 
常 自然 ， 而 不 像 使 用 回调 画 数 时 那样 星 涩 。 


。 如 果 要 将 现存 的 基于 回调 机 制 的 API 迁 移 到 CSP 机 制 中 ， 只 需 提 供 
一 个 很 小 的 回调 函数 ， 辐 channel 写 入 数据 即 可 。 


。 通过 alt1! 宏 可 以 处 理 多 个 channel 的 读 和 写 。 


。timeout 函数 返回 一 个 channel， 并 在 一 定时 间 后 关闭 这 个 channel 
eo (被 具象 化 
了 fe} 


。 暂停 函数 必须 在 go 块 中 被 直接 调用 。Clojure 的 宏 可 以 将 代码 内 
联 ， 可 以 将 go 块 拆 分 成 较 小 的 部 分 ， 而 不 受 这 个 约束 的 有 影响。 


第 二 天 上 自习 
查找 


。 与 alt! 类 似 ，core.async 还 提供 了 alts! 。 两 者 有 什么 区 
别 ? 各 自 适 用 于 什么 场景 ? 


e KR Tasync/merge , core.async 还 提供 了 很 多 方法 来 合并 多 
个 channel， 例 如 pub 、sub、mult、tap、mix 和 admix。 它 
们 各 适用 于 什么 场景 ? 


实践 


。 重新 整理 一 下 RSS 阅 读 需 运行 的 流程 。 有 趣 的 是 由 于 全 程 使 用 了 无 
缓存 的 channel， 整 个 流程 看 上 去 非常 像 数 据 流 式 编程 的 结果 ， 其 
中 上 游 的 go 块 的 运行 结果 由 下 游 的 go 块 使 用 。 如 果 使 用 有 缓存 的 
channel 会 发 生 什 么 ? 比 起 使 用 无 缓存 的 channel， 是 否 有 什么 好 
处 ? 会 带 来 什么 问题 ? 

。 自己 实现 一 个 类 似 于 async/merge 的 函数 。 这 个 函数 还 需要 处 理 
输入 channel 中 有 一 个 或 多 个 被 关闭 的 情况 。 (提示 : 比 起 alLtl , 
借助 alts1! 来 实现 会 比较 容易 。) 


。 使 用 Clojure 的 宏 展 开工 具 将 alt! HERF: 


channels.core=> 


(macroexpand-1 '(alt! ch1 ([x] (println x)) ch2 ([y] (printin 


y)))) 


对 于 展开 后 的 代码 ， 通 过 调整 缩 进 并 删除 clojure.core W, ajA 
calt! 是 如 何不 调用 匿名 函数 而 达到 调用 匿名 函数 的 效果 
J? 


6.4 第 三 天 : 客户 端 CSP 


ClojureScript (http://clojurescript.com ) 是 Clojure 的 一 个 子 集 ， 
ClojureScript 并 不 将 程序 编译 成 Java 字 节 码 ， 而 编译 成 JavaScript。 也 就 
是 说 可 以 用 Clojure 为 一 个 Web 应 用 同时 编写 服务 絮 端 和 客户 端的 代码 。 


使 用 ClojureScript 的 主要 原因 之 一 是 它 支 持 core .async ， 这 为 我 们 带 
来 了 许多 好 处 ， 其 中 最 重要 的 就 是 它 能 将 众多 JavaScript 程 序 员 从 “回调 
困境 ”中 解救 出 来 。 


并 发 是 一 种 心境 


如 果 你 熟悉 客户 端 JavaScript 编 程 ， 肯 定 会 认为 本 节 写 错 了 一 一 浏览 器 
使 用 的 JavaScript 引 擎 是 单线 程 的 ， 怎 么 会 与 core .async tk LEXA? 
并 发 编程 不 是 在 多 线程 的 场景 下 才 有 用 吗 ? 


在 没有 真正 多 线程 的 场景 中 ， 通 过 go 安 的 控制 反 转 ，ClojureScript 可 以 

让 客户 端 编程 在 表面 上 具有 多 线程 功能 。 这 是 协作 式 多 任务 
(cooperative multitasking) 的 一 种 形式 一 一 一 个 任务 不 会 强制 打 断 另 

mo 。 之 后 我 们 会 看 到 ， 这 为 代码 结构 和 清晰 度 带 来 了 质 的 飞 


小 乔 爱 问 : 
关于 Web Worker 


通过 Web Workera ， 现 代 浏 贤 絮 在 一 定形 式 上 文 持 真正 多 线程 的 
JavaScript。Web Worker 只 涉及 后 台 任 务 ， 而 不 能 访问 DOM 。 


通过 某 些 库 ， 比 如 Servantb ，ClojureScript 也 可 以 使 用 Web 
Worker ° 


a. http://www.whatwg.org/specs/web-apps/current-work/multipage/workers.html 


b. https://github.com/MarcoPolo/servant 


Hello, ClojureScript 


ClojureScript 与 Clojure 类 似 ， 但 也 存在 一 些 差 别 一 本 书 会 在 相关 部 分 
介绍 它们 。 


ClojureScript 恬 用 的 编译 过 程 通常 是 两 阶段 的 。 第 一 阶段 ， 客 户 端的 
ClojureScript 代 码 将 被 编译 成 一 个 JavaScript 文 件 ， 第 二 阶段 ， 服 务 右 端 
的 ClojureScript 代 码 将 被 编译 并 创建 一 个 服务 妖 ， 这 个 服务 妖 提 供 的 页 
面 会 将 该 JavaScript 文 件 的 代码 包装 在 <script> 标签 对 中 。 本 市 中 的 
例子 都 使 用 Leiningen 的 插件 lein-cljsbuilds 将 编译 过 程 自动 化 。 服 务 器 
端的 代码 放 在 目录 src-clj 中 ， 客 户 端 的 代码 放 在 目录 src-cljs 

中 o 


8 https://github.com/emezeske/lein-cljsbuild 


先 来 看 一 个 简单 的 项 目 ， 将 一 个 脚本 舱 入 一 个 页 面 中 ， 页 面 如 下 : 


CSP/HelloClojureScript/resources/public/index.html 


Line 1 <html> 


2 <head> 


3 <title> 


Hello ClojureScript</title> 


4 <script 


src="/js/main.js 


" type="text/javascript 


"></script> 
5 </head> 
6 <body> 
7 <div 


id="content 


Ws 


8 </div> 
9 </body> 
10 </html> 


第 4 行 中 引用 了 ClojureScript 生 成 的 JavaScript 脚 本 ， 它 将 操作 第 7 行 空 白 
的 <div> 。 下 面 是 对 应 的 ClojureScript 代 码 : 


CSP/HelloClojureScript/src-cljs/hello_clojurescript/core.cljs 


Line 1 (ns 


hello-clojurescript.core 
- (:require-macros [cljs.core.async.macros :refer [go]]) 


- (:require [goog.dom :as dom] 
- [cljs.core.async :refer [<! timeout]])) 


- (defn 
output [elem message] 


- (dom/append elem message (dom/createDom "br"))) 
- (defn 


start [] 
- (let 


[content (dom/getElement "content 


")] 
10 (go 
- (while 


true 


(<! (timeout 1000)) 
(output content "Hello from task 1 


15 (while 


(<! (timeout 1500)) 
(output content "Hello from task 2 


"))))) 


(set! (.-onload js/window) start) 


ClojureScript 与 Clojure 的 一 个 差别 是 其 使 用 的 宏 需 要 使 用 :require- 
macros 进行 声明 (第 2 行 )。output BAe (ett) 使 用 了 Google 
Closure 库 9 (此 处 的 Closure 第 四 个 字母 是 s， 而 不 是 )) 向 一 个 DOM 元 素 
添加 消 已 。 


9 https://developers.google.com/closure/library/ 


这 上段 代码 在 第 13 行 和 第 17 行 使 用 了 output 函数 ， 其 分 别 运 行 于 两 个 独 
立 的 go 块 中 。 第 一 个 go 块 每 1 秒 输出 一 次 ， 第 二 个 go 块 每 1.5 秒 输出 一 
次 。 


第 第 19 行 的 代码 将 s tart 函数 与 JavaScript 的 window 对 和 象 的 onload 属性 
进行 绑 定 。 这 行 代码 借助 了 ClojureScript 的 dot special form 特 性 ， 与 
JavaScript 代 码 进 行 交 互 。 下 面 这 上 段 代 码 : 


(set! (.-onload js/window) start) 


会 被 转换 成 下 面 的 JavaScript 代 但 : 


window.onload = hello_clojurescript.core.start; 


由 于 服务 器 端的 ClojureScript 代 码 比 较 简 单 ， 这 里 不 再 进行 介绍 (如 需 
了 解 更 多 细节， 请 参见 本 书 配套 代码 ) 。 


现在 可 以 用 lein cljsbuild once 编译 程序 ， 并 用 lein run 运行 
服务 器 。 通 过 浏览 器 访问 http:;//localhost:30009 ， 就 可 以 看 到 以 
下 输出 : 


现在 是 否 还 觉得 并 发 程序 一 定 要 依托 于 真正 的 多 线程 ? 
并 发 任务 如 果 能 一 直 独 立 运 行 那 是 极 好 的 。 但 大 多 数 界 面 需要 和 用 户 


进行 互动 ， 这 束 要 求 代码 能 处 理事 件 ， 下 一 六 将 学 习 如 何 处 理事 件 。 
处 理事 件 


本 广 将 通过 一 个 简单 的 可 以 响应 鼠标 点 击 的 动画 ， 来 演示 ClojureScript 
是 如 何 处 理事 件 的 。 我 们 将 创建 一 个 页 面 ， 在 页 面 上 显示 一 些 圆 ， 这 
些 圆 会 逐渐 衰减 成 一 个 点 ， 最 终 消失 在 用 户 鼠 标点 击 的 位 置 ， 如 图 6-4 
FITZR ° 


图 6-4 “衰减 的 圆 
页 面 的 代码 非常 简单 ， 只 使 用 一 个 <div> 充满 整个 窗口 : 


CSP/Animation/resources/public/index.html 


<html> 


<head> 


<title> 


Animation</title> 


<script 


src="/js/main.js 
" type="text/javascript 


"></script> 
</head> 
<body> 


<div 
id="canvas" width="100% 
" height="100% 


"></div> 


</body> 


</html> 


我 们 要 借助 Google Closure 库 的 图 形 功 能 在 页 面 上 绘 岁 ，Google Closure 
库 对 不 同 浏览 器 上 绘图 操作 的 细节 进行 了 抽象 。create-graphics 
阔 数 接受 一 个 DOM 元 素 ， 返 回 一 个 图 像 接 口 ， 通 过 这 个 图 像 接 口 可 以 
在 DOM 元 素 上 绘图 : 

CSP/Animation/src-cljs/animation/core.cljs 


(defn 


create-graphics [elem] 
(doto 


raphics/createGraphics "100% 
(grap p 


" "100% 


(.render elem))) 


shrinking-circle 函数 接受 一 个 岁 形 接口 和 一 个 位 置 ， 并 创建 一 个 
go 块 ， 其 绘制 以 输入 的 位 置 为 中 心 的 圆 ， 并 实现 动画 : 


CSP/Animation/src-cljs/animation/core.cljs 
Line 1 (def 


stroke (graphics/Stroke. 1 "#ff0000 


")) 
(defn 


shrinking-circle [graphics x y] 


- (go 
5 (let 


[circle (.drawCircle graphics x y 100 stroke nil)] 
- (loop 


[r 100] 

- (<! (timeout 25)) 
(.setRadius circle r r) 
(when 


(recur 


(.dispose circle)))) 


这 段 代 码 首 先 使 用 Google Closure 库 的 drawCircle 函数 (第 5 行 ) 来 
绘制 圆 ， 然 后 进入 循环 ， 每 25 ms 调用 一 次 setRadius 函数 〈 每 秒 40 
次 ) 《第 7 行 ) ; 最 后 当 半 径 豪 减 到 0 时 ， 调 用 dispose 函数 来 删除 圆 
(第 11 行 ) 。 


我 们 还 需要 判断 用 户 何 时 在 页 面 上 点 击 了 鼠标 。Google Closure 库 提供 
了 1isten Kt, HATMA EIE ° 


类 似 于 昨天 学 习 的 http/get HA, listen 接受 一 个 回调 函数 ， 在 
指定 事件 发 生 时 会 调用 该 回调 函数 。 与 昨天 类 似 ， 我 们 传 入 一 个 将 事 


件 写 入 channel 的 回调 函数 ， 来 将 回调 函数 转换 成 core .async 的 形 
式 : 


CSP/Animation/src-cljs/animation/core.cljs 


(defn 


get-events [elem event-type] 
(let 


[ch (chan) ] 
(events/listen elem event-type 
#(put! ch %)) 
ch) ) 


还 剩 最 后 一 点 工作 : 
CSP/Animation/src-cljs/animation/core.cljs 


(defn 


start [] 
(let 


[canvas (dom/getElement "canvas 


E) 
graphics (create-graphics canvas) 
clicks (get-events canvas "click 


")] 
(go (while 


true 
(let 


[click (<! clicks) 
x (.-offsetX click) 
y (.-offsetY click)] 
(shrinking-circle graphics x y)))))) 
(set! (.-onload js/window) start) 


这 上 段 代码 自 完 查找 一 个 <div> 作为 画布 ,构造 一 个 图 形 接 口 在 画布 上 
绘画 ， 并 获得 鼠标 点 击 事件 构成 的 channel; 然后 进入 循环 ， 等 竺 发 生 


一 次 鼠标 点 击 ， 获 取 这 次 点 击 的 坐标 offsetX Aloffsety ， 并 在 这 
个 坐标 位 置 创建 一 个 圆 的 动画 。 


文 个 例子 看 上 去 很 简单 (实际 上 也 是 这 样 ) ， 但 它 将 JavaScript 的 基于 
回调 的 代码 转换 成 了 core ,async 的 基于 channel 的 代码 ， 我 们 已 经 获 
得 了 巨大 的 成 功 一 一 找到 了 “回调 困境 ”的 解决 方案 。 


驯服 回调 
“回调 困境 ” 指 的 是 由 于 JavaScript 严 重 依赖 回调 方法 而 导致 代码 混乱 的 
状 ? 回调 函数 调用 的 回调 函数 再 调用 另 一 个 回调 函数 ， 还 需要 和 暂 
存 不 同 的 状态 来 进行 回调 之 间 的 通信 。 
下 面 将 学 习 如 何 用 本 章 介绍 的 异步 编程 模型 来 解决 回调 困境 。 
实现 一 个 向 导 器 10 

10 有 趣 的 是 ， 原 文 标题 是 “Were Off to See the Wizard”， 这 是 绿野仙踪 的 一 首播 


o “wizard” 既 有 “巫师 ”的 意思 ， 也 有 “向 导 器 ”的 意思 。 译 者 注 


Al Sas 是 常用 的 界面 模式 ， 指 导 用 户 一 步 一 步 地 进行 操作 。 今 天 最 后 
的 任务 就 是 运用 所 学 来 创建 一 个 不 使 用 回调 画 数 的 向 导 器 : 


Wizard 
< + 69 localhost:3000 G » 


Step 2 
Date of Birth: 03/10/1968 


Homepage: www.paulbutcher.com 


Next 


图 6-5 ”向导 器 
向 导 器 由 包含 多 个 fieldset 的 表单 构成 : 


CSP/Wizard/resources/public/index.html 


<form 


id="wizard 
"~action="/wizard 
" method="post 


Ws 


<fieldset 
class="step 
" id="step1 


Ws 


<legend> 


Step 1</legend> 


<label> 
First Name:</label><input 
type="text 
" name="firstname 


W /> 


<label> 
Last Name:</label><input 
type="text 
" name="Llastname 


W /> 
</fieldset> 


<fieldset 
class="step 
" id="step2 


Ws 


<legend> 


Step 2</legend> 


<label> 
Date of Birth:</label><input 
type="date 
" name="dob 


W /> 
<label> 


Homepage :</label><input 
type="url 
" name="url 


W /> 
</fieldset> 


<fieldset 
class="step 
" id="step3 


Ws 


<legend> 


Step 3</legend> 


<label> 
Password:</label><input 
type="password 
" name="pass1 


" /> 


<label> 
Confirm Password:</label><input 
type="password 
" name="pass2 


" /> 


</fieldset> 


<input 


type="button 


id="next 


value="Next 


W /> 
</form> 


每 个 <fieldset> (UIA) Sard — TR ° TO AT A HY fieldsetlas yeti 
来 : 


CSP/Wizard/resources/public/styles.css 


label 


{ display:block; width:8em; clear:left; float:left; 
text-align:right; margin-right: 3pt; } 
input 


{ display:block; } 
> .step { display:none; } 


Z ETRIE PE Ea, ENB fieldset: 
CSP/Wizard/src-cljs/wizard/core.cljs 


(defn 


show [elem] 
(set! (.. elem -style -display) "block 


")) 
(defn 


hide [elem] 
(set! (.. elem -style -display) "none 


")) 
(defn 


set-value [elem value] 
(set! (.-value elem) value)) 


A ele 了 男 一 种 形式 的 dot special form， 用 于 访问 对 象 深层 的 属 
性 ， 比 如 : 


(set! (.. elem -style -display) "block 
" ) 
会 被 转换 成 下 面 的 JavaScript 代 但 : 


elem.style.display = "block 


Wa 
了 


下 面 的 代码 实现 了 癌 导 右 的 控制 流程 : 


CSP/Wizard/src-cljs/wizard/core.cljs 


Line 1 (defn 


[wizard (dom/getElement "wizard 


") 
step1 (dom/getElement "step1 


") 
step2 (dom/getElement "step2 


") 
step3 (dom/getElement "step3 


") 


next-button (dom/getElement "next 


next-clicks (get-events next-button "click 


(show step1) 

(<! next-clicks) 

(hide step1) 

(show step2) 

(<! next-clicks) 

(set-value next-button "Finish 


(hide step2) 

(show step3) 

(<! next-clicks) 
(.submit wizard) ))) 


20 (set! (.-onload js/window) start) 


这 段 代 码 首先 获取 了 表单 中 每 个 需要 操作 的 元 素 的 引用 ， 并 用 之 前 写 
的 get -events 函数 获取 Next 按 钮 的 点 击 事件 的 channel (817) ; 然 
后 显示 与 向 导 第 一 步 相 关 的 表单 元 素 ， 并 等 待 用 户 点 击 Next 按 钮 (第 
10 行 ) ; 当 用 户 点 击 时 ， 隐 藏 与 向 导 第 一 步 相关 的 表单 元 素 ， 显 示 与 
向 导 第 二 步 相 关 的 表单 元 素 ， 并 等 待 用 户 再 次 点 击 Next 按 钮 ;以 此 类 
推 ， 直 到 所 有 步骤 都 完成 ， 最 后 提交 表单 (第 18 行 ) ° 


这 上 段 代码 最 大 的 特点 古 它 没什么 特别 句 导 器 的 流 J 
的 ， 这 上段 代码 看 上 去 也 是 串 行 的 。 当 然 这 十 由 于 go 安 的 作用 ， 实 际 上 
这 段 代码 并 不 十 串 行 的 一 一 我 们 创建 了 一 个 状态 机 ， 它 或 者 处 于 运行 
状态 ， 或 者 在 等 待 状态 转换 信号 时 处 于 暂停 状态 。 绝 大 多 数 时 候 我 们 
不 需要 关心 细 下 ， 只 需要 将 其 视 作 串 行 代码 即 可 。 


第 三 天 总 结 


我 们 完成 了 第 三 天 的 学 习 ， 同 时 也 结束 了 对 core .async 版 本 的 CSP 
模型 的 讨论 。 


第 三 天 我 们 学 到 了 什么 

ClojureScript 是 Clojure 的 一 个 子 集 ， 其 代码 可 以 编译 成 JavaScript， 这 样 
客户 端 编程 就 可 以 借助 core ,async 的 力量 。 这 不 仅 可 以 在 单线 程 
JavaScript 环 境 上 运行 协作 式 多 任务 ， 还 能 解决 “回调 困境 ”。 
第 三 天 自习 

查找 


e ClojureScript 中 ，core.async 文 持 暂停 函数 ， 比 如 <! 和 >! ， 但 
并 不 文 持 阻塞 画 数 <!11 和 >!11。 这 是 为 什么 ? 


。 阅读 take! 的 文档 ， 通 过 这 个 琴 数 ， 如 何 将 基于 channel 的 API 转 
换 为 基于 回调 函数 的 API? 这 适用 于 什么 场景 ? (bem: 这 个 问题 
与 上 一 个 问题 相关 。) 


实践 
。 用 core.async 编写 一 个 简单 的 浏览 器 游戏 ， 比 如 贪 吃 蛇 、 上 乒乓 
PRET AIR © 
° i J pe 写 同 导 器 的 例子 。 其 与 ClojureScript 版 本 相 比 有 什么 
x Fl’? 


65 ”复习 


表面 上 看 ，actor 模 型 和 CSP 模 型 非常 相似 一 一 它们 均 由 独立 的 并 发 的 执 
行 单元 构成 ， 这 些 执行 单元 之 间 都 使 用 消息 来 进行 通信 。 但 如 本 章 所 
述 ， 由 于 侧重 总 不同， 这 两 种 模型 可 谓 是 大 相 径 庭 。 


优点 


与 actor 模 型 相 比 ，CSP 模 型 ae ABIL 凡是 H o (EH actor 模 型 | N, 
负责 通信 的 媒介 与 执行 单元 是 每 个 actor 都 有 一 个 信箱 

而 使 用 CSP 模 型 时 channel E 类 对 象 可 以 被 独立 地 创建 、 写 入 
数据 、 读 出 数据 ， 也 可 以 在 不 同 的 执行 单元 中 传递 


Clojure 语 言 的 创始 人 Rich Hickey 解 释 了 他 在 CSP 模 型 与 actor 模 型 中 选择 
前 者 的 原因 


1 http://clojure.com/blog/2013/06/28/clojure-core-async-channels.html 


我 个 人 对 actor 模 型 并 不 感 兴趣 。 在 actor 模 型 中 ， 生 产 者 和 消费 者 
还 是 耦合 在 一 起 的 。 诚 然 ， Boll TAT DAH actora Z SSH sl fe H 
的 队列 (人们 确实 也 经 常 这 样 做 )” ， 但 actor 模 型 本 身 就 已 经 使 用 
Ta HERI E 通信 用 的 队列 未 免 显 45 E REYS 


elt 


通信 
io EEMI 消息 通信 用 的 队列 这 一 角度 来 前 述 选 择 CSP 模 型 的 原因 。 
一 一 译 者 注 


从 更 务实 的 角度 来 说 ， 现 在 的 CSP 模 型 的 实现 ， 比如 core ,async 
库 ， 使 用 了 控制 反 转 技术 ， 不 仪 提高 了 异步 程序 的 效率 ， 还 为 原本 使 
用 回调 函数 来 解决 的 应 用 领域 提供 了 一 种 显著 改进 的 编程 模型 。 本 章 
中 我 们 学 习 了 其 中 的 两 种 模型 : 异步 IO 编程 和 异步 UI 编 程 ， 然 而 还 有 
很 多 其 他 模型 。 


缺点 


如 果 将 本 章 与 上 一 章 相 比 ， 有 题 没 分 布 式 和 容错 
性 。 基 于 CSP 模 型 的 编程 语言 虽然 也 可 以 文 持 分 布 式 和 容错 性 ， 但 与 基 
于 actor 模 型 的 编程 语言 不 同 ， 这 两 个 主题 并 没有 得 到 足够 的 重视 和 文 
持 一 ”也 没有 基于 CSP 模 型 实现 的 OTP。 


12 Rich Hickey 在 文章 中 主要 阐述 了 设计 core .async 的 目的 ， 其 中 一 个 目的 是 提供 消 


与 使 用 线程 与 锁 模 型 和 actor 模 型 一 样 ，CSP 模 型 也 容易 受到 和 死 锁 影 啊 ， 
且 没 有 提供 直接 的 并 行文 持 。 使 用 CSP 模 型 时 ， 并 行 需要 建立 在 并 发 的 
基础 上 ， 这 也 瓯 引入 了 不 确定 性 。 

其 他 语言 

与 actor 模 型 类 似 ，CSP 模 型 由 Tony Hoare 于 1970 年 代 提 出 。 近 年 来 这 两 
个 模型 一 直 在 互相 借鉴 ， 共 同 进化 。 


20 世 纪 80 年 代 ， 编 程 语言 occam™ 使 用 CSP 模 型 为 基石 。 然 而 在 当下 ， 
Go 语言 是 使 用 CSP 模 型 的 最 流行 的 语言 。 


13 http://en.wikipedia.org/wiki/Occam_programming_language 


core async 和 Go 语言 都 使 用 控制 反 转 来 实现 异步 任务 ， 这 一 技术 也 
被 其 他 语言 广泛 使 用 ， 包 括 F#l4 ` c#! 、Nemerlel6 和 Scalal” 。 


14 http://blogs.msdn.com/b/dsyme/archive/2007/10/11/introducing-f-asynchronous-workflows.aspx 

15 http://msdn.microsoft.com/en-us/library/hh191443.aspx 

Hf https://github.com/rsdn/nemerle/wiki/Computation-Expression-macro#async 

17 http://docs.scala-lang.org/sips/pending/async.html 
结语 
CSP 模 型 和 actor 模 型 开发 社区 的 侧重 点 不 同 ， 并 各 自发 展 ， 从 而 形成 了 
两 者 之 间 的 诸多 差异 。actor 模 型 的 开发 社区 侧重 于 容错 性 和 分 布 式 ， 
而 CSP 模 型 的 开发 社区 侧重 于 效率 和 代码 表达 的 流畅 性 。 如 何在 这 两 种 
模型 之 间 进 行 选择 ， 很 大 程度 上 取决 于 你 关注 于 哪个 方面 。 


CSP 模 型 是 本 书 介 绍 的 最 后 一 种 通用 的 编程 模型 。 下 一 章 我 们 将 学 习 第 
一 个 专用 的 编程 模型 。 


第 7 章 数据 并 行 


数据 并 行 束 像 是 八 车 道 的 高 速 公 路 。 虽 然 每 辆 车 的 速度 相对 平缓 ， 但 
由 于 多 辆 车 可 以 同时 行进 ， 所 以 通过 某 一 点 的 车 流量 还 是 很 大 的 。 


到 目前 为 止 ， 我 们 讨论 的 每 一 项 技术 都 可 以 用 于 解决 多 种 编程 问题 。 
相 比 之 下 ， 数 据 并 行 只 适用 于 很 罕 的 范围 。 顾 名 思 义 ， 数 据 并 行 是 并 
行 编程 技术 ， 而 不 是 并 发 编程 技术 (并 发 和 并 行 是 相关 的 ， 但 又 有 所 
区 别 ， 参 见 1.1 节 ) 。 


71 ”隐藏 在 笔记 本 电脑 中 的 超级 计算 机 


本 章 我 们 将 学 习 如 何 利 用 隐藏 在 笔记 本 电脑 中 的 超级 计算 机 一 一 图 形 
处 理 单 元 (GPU) 。 现 代 GPU 是 一 个 强力 的 数据 并 行 处 理 器 ， 其 用 于 
数学 计算 时 性 能 超过 了 CPU， 这 种 做 法 称 为 基于 图 形 处 理 器 的 通用 计 
算 (General-Purpose computing on the GPU) ， 或 GPGPU 编 程 。 


过 去 数 年 间 ， 有 许多 技术 致力 于 将 不 同 GPU 的 实现 细 市 抽象 出 来 。 本 
书 将 使 用 开放 计算 语言 (OpenCL) 1 来 编写 GPGPU 代 码 。 


1 http://www.khronos.org/opencl/ 


第 一 天 ， 我 们 将 学 习 编写 OpenCL 内 核 的 基础 知识 ， 以 及 用 于 编译 和 运 
行内 核 的 主机 程序 。 第 二 天 ， 学 习 如 何 将 内 核 映 射 到 硬件 上 。 第 三 
天 ， 学 习 OpenCL 如 何 与 开放 图 形 库 (OpenGL)“ 写 束 的 图 形 代码 进行 


交互 


2 http://www.opengl.org 


7.2 ”第 一 天 : GPGPU 编 程 


今天 我 们 将 学 习 如 何 编写 一 个 简单 的 将 两 个 数组 并 行 相 乘 的 GPGPU 程 

序 ， 并 测试 这 个 程序 的 性 能 ， 来 看 看 GPU 与 CPU 相 比 性 能 会 有 多 大 提 

人 ee 来 探究 一 下 为 什么 GPU 在 进行 数学 运算 时 
Ne o 


图 形 处 理 与 数据 并 行 


计算 机 图 形 学 主要 人 研究 如 何 处 理 数据 、 如 何 处 理 大 量 数 据 以 及 如 何 快 
速 处 理 大 量 数据 。3D 游 戏 的 一 个 场景 古 由 无 数 个 小 三 角形 构成 的 ， 
一 个 三 角形 都 需要 根据 与 视点 相关 的 透视 关系 计算 出 其 在 屏幕 上 的 位 
` 处 理光 照 、 修 饰 纹理 等 ， 这 些 操作 每 秒 钟 都 要 进行 
25 次 以 上 。 


虽然 需要 处 理 的 数据 量 是 巨大 的 ， 但 其 有 一 个 非常 好 的 特性 : 施加 在 

数据 上 的 操作 都 是 相对 简单 的 同 量 操作 或 答 阵 操作 。 因 此 这 种 场景 非 

eee po 多 个 计算 资源 会 在 不 同 的 数据 上 并 行 地 施加 同 
SE o 


IGPU ze E 32 AE To SPT he, Le ay DA ch BL 
亿 个 三 角形 。 虽 然 设 计 GPU 的 主要 目的 是 为 了 满足 图 形 计算 的 需要 ， 
但 是 GPU 也 可 用 于 更 广 的 领域 。 


数据 并 行 可 以 通过 多 种 方法 来 实现 。 我 们 要 学 习 其 中 的 两 种 : 流水线 
FIZ ALU ° 


流水 线 
虽然 看 上 去 将 两 数 相 乘 是 一 个 原子 操作 ， 但 如 果 从 芯片 上 的 门 电路 的 
角度 来 看 ， 这 个 操作 实际 上 是 分 几 步 完成 的 。 这 些 步骤 通常 被 排列 成 
流水 线 型 ， 如 图 7-1 所 示 。 

操作 数 1 


O> r 


操作 数 2 


图 7-1 两 个 数 乘法 的 操作 流水 线 


图 7-1 是 一 个 有 五 个 步骤 的 流水 线 ， 如 果 每 一 步骤 需要 1 个 时 钟 周期 来 完 
成 ， 那 将 一 组 数 (两 个 数 ) 相 乘 就 需要 5 个 时 钟 周期 。 但 如 果 有 多 组 数 
要 相 乘 ， 束 可 以 通过 让 流水 线 饱 和 来 获得 更 好 的 性 能 (假设 内 存 子 系 

统 足够 快 ， 可 以 及 时 提供 足够 多 的 数 ) ， 如 图 7-2 所 示 。 
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图 7-2 多 组 数 乘法 的 饱和 的 操作 流水 线 


如 果 需 要 将 1000 组 数 相 乘 ， 每 组 数 需 要 5 个 时 钟 周期 看 上 去 总 共 需 要 
5000 个 时 钟 周期 ， 而 如 图 7-2 所 示 ， 实 际 上 只 需要 略 多 于 1000 个 时 钟 周 
期 即 可 完成 。 


多 ALU 


CPU 中 负责 进行 乘法 之 类 运算 的 组 件 称 为 算术 逻辑 单元 (ALU) ， 如 
图 7-3 所 示 。 
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只 要 搭配 足够 宽 的 内 存 总 线 ， 多 个 ALU 束 可 以 同时 获取 多 个 操作 数 ， 
这 样 施加 在 大 量 数据 上 的 运算 束 可 以 并 行 了 ， 如 图 7-4 所 示 。 


图 7-4 利用 多 个 ALU 对 大 量 数据 进行 并 行 操作 


GPU 的 内 存 总 线 通 角 有 256 位 或 更 宽 ， 也 怠 是 说 一 次 可 以 获取 8 个 或 更 
多 个 32 位 的 浮 点 数 。 


混乱 的 局 面 


为 了 获得 更 好 的 性 能 ， 现 实 中 的 GPU 会 综合 使 用 流水 线 、 多 ALU 以 及 
许多 本 书 尚 未 提 及 的 技术 。 这 就 增加 了 进一步 理解 GPU 的 难度 。 更 遗 
憾 的 是 ， 不 同 的 (即使 是 同一 厂商 生产 的 ) GPU 之 间 的 共性 是 很 少 
的 。 如 采 我 们 必须 针对 某 个 架构 开发 代码 ，GPGPU 编 程 不 是 最 佳 先 


JÆ © 
OpenCL 定 义 了 一 种 类 C 语 言 ， 可 以 针对 多 种 架构 抽象 地 进行 编程 。 不 


同 的 GPU 厂 商会 提供 各 自 的 编译 器 和 驱动 程序 ， 使 代码 可 以 被 编译 并 
在 相应 的 硬件 上 运行 。 


第 一 个 OpenCL 程 序 


如 采 要 利用 OpenCL 对 数组 相 乘 进行 并 行 化 ， 束 需要 先 将 工作 划分 成 多 
个 可 以 并 行 执行 的 工作 项 (work-item) 。 


工作 项 

在 编写 并 行 代码 时 ， 需 要 留意 每 个 并 行 任务 的 颗粒 度 。 通 常 ， 如 果 每 
个 任务 只 进行 非常 少 的 工作 ， 代 码 运行 的 效率 会 很 低 ， 其 原因 是 线程 
创建 和 线程 通信 的 代价 会 变 得 很 高 。 


相 比 之 下 ，OpenCcEL 的 工作 项 通常 会 很 小 。 如 果 要 将 两 个 有 1024 个 元 素 
的 数组 相 乘 ， 就 可 以 创建 1024 个 工作 项 。 如 图 7-5 所 示 。 
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图 7-5 ”数组 相 乘 的 工作 项 


我 们 的 任务 束 是 将 问题 拆 分 成 尽 可 能 小 的 工作 项 。OpenCL 的 编 详 妖 和 
运行 时 会 根据 硬件 条 件 对 工作 项 进行 最 优 调度 ， 保 证 硬件 被 尽 可 能 高 
效 地 利用 。 

OpenCL 调 优 

如 你 所 料 ， 现 实 世界 往往 不 是 这 么 简单 。 对 OpenCL 程 序 进 行 调 

优 ， 通 常 需 要 仔细 考量 可 用 的 资源 ， 并 给 编译 器 和 运行 时 一 些 提 

示 ， 帮 助 它们 更 好 地 调度 工作 项 。 有 时 为 了 性 能 甚至 需要 限制 并 


人 


不 过 ， 过 后 地 进行 调 优 是 编程 之 大 忌 。 大 部 分 情况 下 ， 只 需要 让 
人 ` 让 工作 项 最 小 化 ， 仅 在 必要 的 时 候 才 会 考虑 进行 优 
内 核 


OpenCL 的 内 核 主要 用 于 说 明 每 个 工作 项 是 如 何 工作 的 。 下 面 是 数组 相 
乘 程序 的 内 核 


DataParallelism/MultiplyArrays/multiply_arrays.cl 


__kernel void 
multiply_arrays(__global const float 


* inputA, 
_ global const float 


* inputB, 
__ global float 


* output) { 


int 


i = get_global_id(0); 
output[i] = inputA[i] * inputB[i]; 


这 个 内 核 接受 两 个 输入 数组 指针 inputA 和 inputB ， 和 一 个 输出 数组 
指针 output 。 它 调用 get_global_id( ) 来 确定 当前 正在 处 理 哪个 
工作 项 ， 并 将 inputA 和 inputB 的 对 应 元 素 相 乘 的 结果 写 入 output 
的 对 应 元 素 。 


So ee Whig See TARR A BEDE 4, FR 
HD: 


1. 创建 上 下 文 ， 内 核 和 命令 队列 都 将 运行 在 这 个 上 下 文中 ; 
2. 编译 内 核 ; 


3. 创建 输入 数据 的 缓存 区 和 输出 数据 的 缓存 区 ; 


4. 向 命令 队列 中 输入 一 个 命令 ， 让 每 一 个 工作 项 都 运行 一 次 内 核 程 
序 ; 
5. 获取 结 


OpenCL 官 方 标准 定义 了 C 绑 定 (binding) 和 C++ 绑 定 。 然 而 ， 大 部 分 
主流 语言 都 提供 了 非 官 方 的 绑 定 ， 所 以 我 们 可 以 用 自己 喜欢 的 语言 来 
编写 主机 程序 。 由 于 OpenCL 官方 标准 使 用 了 C 语 言 ， 而 且 C 语 言 能 最 好 
地 描述 底层 的 运行 原理 ， 因 此 我 们 一 开始 先 选 择 C 语 言 ， 第 三 天 再 学 习 
用 Java 编 写 主 机 程序 。 


接 下 来 的 几 市 将 会 完成 一 个 完整 的 OpenCL 主 机 程序 。 为 了 在 代码 中 更 
清楚 地 表达 出 发 层 的 数据 结构 ， 我 们 将 写 一 些 奔 放 的 不 市 错 计 处 理 的 
代码 一 一 不 过 别 担心 ， 稍 后 会 对 这 些 代码 进行 修正 。 你 还 会 发 现在 函 
数 参 数 中 使 用 了 多 个 NULL 同样 别 担心 ， 在 理解 了 整体 结构 后 ， 我 
们 会 回头 仔细 学 习 这 些 API © 


创建 上 下 文 
OpenCL 上 下 文 表示 了 OpenCL 内 核 运行 的 环境 。 要 创建 上 下 文 ， 需 要 


识别 所 使 用 的 平台 ， 以 及 平台 上 将 运行 内 核 的 设备 〈 稍 后 会 详细 讨论 
平台 和 设备 ) : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


cl_platform_id platform; 
clGetPlatformIDs(1, &platform, NULL); 


cl_device_id device; 
clGetDeviceIDs(platform, CL_DEVICE_TYPE_GPU, 1, &device, NULL); 


cl_context context = clCreateContext(NULL, 1, &device, NULL, NULL, 
NULL); 


这 段 代 码 定 义 了 一 个 简单 的 上 下 文 ， 其 仅 包含 一 个 GPU。 首先 调用 
clGetPlatformIDs() 来 识别 平台 ， 然 后 将 CL_DEVICE_TYPE_GPU 
传 给 cLGetDeviceIDSs( ) 来 获取 GPU 的 ID， 最 后 将 此 ID 传 给 
clCreateContext() 来 创建 上 下 文 。 


创建 命令 队列 
已 经 创建 了 一 个 上 下 文 ， 现 在 可 以 用 它 创 建 命令 队列 了 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


cl_command_queue queue = clCreateCommandQueue(context, device, 0, 
NULL); 


clCreateCommandQueue() 接受 一 个 上 下 文 和 一 个 设备 ID， 并 返回 
一 个 命令 队列 ， 命 令 将 通过 这 个 队列 发 送 给 该 设备 。 


编译 内 核 
接 下 来 要 将 内 核 编译 成 可 以 在 设备 上 运行 的 代码 ; 


DataParallelism/MultiplyArrays/multiply_arrays.c 


char 

* source = readsource( 
"multiplyarrays.cl" 

); 


cl_program program = c1CreateProgramwithSource(context, 1, 
(const char 


)&source, NULL, NULL); 

free(source); 

clBuildProgram(program, ©, NULL, NULL, NULL, NULL); 

cl_kernel kernel = clCreateKernel(program, _"multiply_arrays"_, 
NULL); 


这 上 段 代码 首先 将 multiply_arrays .cl 中 的 内 核 源 码 读 到 一 个 字符 
串 中 〈 在 本 书 配套 代码 中 可 以 看 到 read_source() 的 源码 ) ， 然 后 
将 该 字符 串 传 给 cLCreateProgramwithSource() ， 之 后 使 用 
clBuildProgram( ) 进行 构建 ， 最 后 使 用 clCreateKernel( ) 创建 
— ATK ° 


创建 缓存 区 
内 核 使 用 的 是 缓存 区 中 的 数据 ， 我 们 移 来 创建 缓存 区 : 
DataParallelism/MultiplyArrays/multiply_arrays.c 


#define NUM_ELEMENTS 1024 


cl_float a[NUM_ELEMENTS], b[NUM_ELEMENTS]; 
random_fill(a, NUM_ELEMENTS); 
random_fill(b, NUM_ELEMENTS); 
cl_mem inputA = clCreateBuffer(context, CL_MEM_READ_ONLY | 
CL_MEM_COPY_HOST_PTR, 
sizeof 


(cl_float) * NUM_ELEMENTS, a, NULL); 


cl_mem inputB = clCreateBuffer(context, CL_MEM_READ_ONLY | 
CL_MEM_COPY_HOST_PTR, 
sizeof 


(cl_float) * NUM_ELEMENTS, b, NULL); 
cl_mem output = clCreateBuffer(context, CL_MEM_WRITE_ONLY, 
sizeof 


(cl_float) * NUM_ELEMENTS, NULL, NULL); 


这 段 代码 创建 了 两 个 数组 a 和 b ， 并 调用 random_fil11() 向 两 个 数组 
中 灌 入 随机 数 ; 

DataParallelism/MultiplyArrays/multiply_arrays.c 
void 


random_fill(cl_float array[], size_t size) { 
for 


(int 


i = 0; i < size; ++i) 
array[i] = (cl_float)rand() / RAND_MAX; 


从 内 核 的 角度 来 看 ， 两 个 输入 缓存 区 inputA 和 inputB 都 是 只 读 的 
(CL_MEM_READ ONLY) ， 并 从 对 应 的 数组 中 复制 数据 作为 初始 值 


(CL_MEM_COPY_HOST_PTR) 。 输 出 缓存 区 output 是 只 写 的 
(CL_MEM WRITE_ONLY) 。 


执行 工作 项 
终于 可 以 执行 工作 项 来 进行 数组 相 乘 了 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


clSetKernelArg(kernel, 0, sizeof 


(cl_mem), &inputA); 
clSetKernelArg(kernel, 1, sizeof 


(cl_mem), &inputB); 
clSetKernelArg(kernel, 2, sizeof 


(cl_mem), &output); 
size_t work_units = NUM_ELEMENTS; 


clEnqueueNDRangeKernel(queue, kernel, 1, NULL, &work_units, NULL, 
©, NULL, NULL); 


这 上段 代码 首先 调用 clSetKernelArg( ) 来 设置 内 核 参数 ， 然 后 调用 
clEnqueueNDRangekernel() , 将 N 维 空间 (NDRange) 的 工作 项 
传 给 命令 队列 。 本 例 中 N =1 (clEnqueueNDRangeKernel() 的 第 三 
个 参数 一 一 稍 后 会 看 到 N >1 的 例子 ) ， 工 作 项 的 个 数 是 1024 © 


获取 结果 
当 内 核 运 行 结束 ， 束 可 以 获取 结果 了 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


cl_float results[NUM_ELEMENTS]; 
clEnqueueReadBuffer(queue, output, CL_TRUE, 0, sizeof 


(cl_float) * NUM_ELEMENTS, 
results, ©, NULL, NULL); 


这 段 代 码 创建 了 result 数组 ， 并 调用 clEnqueueReadBuffer() 将 
output 缓存 区 的 内 容 复制 到 该 数组 中 。 


清理 
主机 程序 最 后 的 工作 是 清理 现场 : 


DataParallelism/MultiplyArrays/multiply_arrays.c 


clReleaseMemObject(inputA); 
clReleaseMemObject(inputB); 
clReleaseMemObject (output); 
clReleaseKernel( kernel); 

clReleaseProgram(program) ; 


clReleaseCommandQueue (queue); 
clReleaseContext(context); 


性 能 分 析 


我 们 已 经 得 到 了 一 个 内 核 ， 现 在 该 来 分 析 一 下 其 性 能 了 。 这 次 需要 使 
用 OpenCL 性 能 分 析 API: 


DataParallelism/MultiplyArraysProfiled/multiply_arrays.c 


Line 1 cl event timing_event; 
- size_t work_units = NUM_ELEMENTS; 
- clEnqueueNDRangeKernel(queue, kernel, 1, NULL, &work_units, 
- NULL, ©, NULL, &timing_event); 


cl_float results[NUM_ELEMENTS]; 
- clEnqueueReadBuffer(queue, output, CL_TRUE, 0, sizeof 


(cl_float) * NUM_ELEMENTS, 
- results, ©, NULL, NULL); 
- cl_ulong starttime; 
10 clGetEventProfilingInfo(timing_event, 
CL_PROFILING_COMMAND_START, 
- sizeof 


(cl_ulong), &starttime, NULL); 

- cl_ulong endtime; 

- clGetEventProfilingInfo(timing_event, 
CL_PROFILING_COMMAND_END, 

- sizeof 


(cl_ulong), &endtime, NULL); 


15 printf("Elapsed (GPU): %lu ns\n\n 


, (unsigned long 


)(endtime - starttime)); 
- clReleaseEvent(timing_event); 


这 段 代码 将 事件 timing_event 传 给 clEnqueueNDRangeKernel() 
(第 3 行 )。 当 一 个 命令 完成 时 ， 就 可 以 调用 l 

clGetEventProfilingInfo() 来 查看 记录 在 这 个 事件 中 的 时 间 信 

息 〈 第 10 行 和 第 13 行 ) 。 

如 果 将 NUM_ELEMENTS 设置 为 100 000， 我 的 MacBook Pro 的 GPU 会 花 

费 43 000 纳 秒 。 而 如 条 使 用 简单 循环 在 CPU 中 进行 同样 的 操作 : 
DataParallelism/MultiplyArraysProfiled/multiply_arrays.c 


for 


(int 


i = 0; i < NUM_ELEMENTS; ++i) 
results[i] = a[i] * b[i]; 


将 同样 的 100 000 个 元 素 相 乘 ， 需 要 花费 近 400 000 纳 秒 ， 可 见 执行 这 个 
任务 时 GPU 比 CPU 快 9 倍 。 


注意 事项 


对 数组 相 乘 进行 性 能 分 析 可 能 会 造成 一 些 误区 。 在 执行 命令 之 
前 ， 程 序 将 输入 数据 复制 到 inputA 和 inputB 缓存 区 中 ; 在 命令 
完成 后 ， 程 序 又 从 output 缓存 区 中 将 结果 复制 出 来 。 


对 于 数组 相 乘 这 种 简单 任务 来 说 ， 这 些 数 据 复 制 的 成 本 相对 较 
高 ， 以 至 于 会 影响 到 整个 性 能 分 析 的 结果 。 实 际 使 用 中 ，OpenCL 
应 用 通 单 会 对 操作 数 进行 更 复杂 的 操作 ， 或 者 是 对 已 经 在 GPU 上 
的 数 进行 操作 。 


为 简单 起 见 ， 本 例 并 没有 涉及 OpenCL API 的 细节 。 现 在 是 时 候 讨 论 它 
(me: 


多 返回 值 


很 多 OpenCL 函 数 都 会 返回 多 个 值 。 如 果 一 个 平台 文 持 多 个 设备 ， 
clGetDeviceIDs() 函数 束 会 返回 多 个 设备 。 其 函数 原型 如 下 : 


cl_int clGetDeviceIDs(cl_platform_id platform, 
cl_device_type device_type, 
cl_uint num_entries, 
cl_device_id* devices, 


cl_uint* num_devices); 


参数 devices 是 一 个 长 度 为 num_entries 的 数组 的 指针 ， 人 参数 
num_devices 是 一 个 整数 的 指针 。 调 用 clGetDeviceIDs() 的 一 种 
方法 是 使 用 定 长 数组 : 


cl_device_id devices[8]; 

cl_uint num_devices; 

clGetDeviceIDs(platform, CL_DEVICE_TYPE_ALL, 8, devices, 
&num_devices); 


clGetDeviceIDs() 返回 时 ，num_devices 已 经 被 赋值 为 可 用 设备 
的 个 数 ，devices 的 前 num_devices 个 元 素 也 会 被 设置 好 。 


这 看 似 不 错 ， 但 如 采 可 用 设备 超过 8 个 呢 ? 当然 可 以 使 用 一 个 “大 ” 数 
组 ， 但 经 验 告诉 我 们 无 论 设置 多 大 的 数组 ， 总 有 一 天 会 超过 这 个 极 
值 。 笠 运 的 是 ， 所 有 返回 数组 的 OpenCL 范 数 都 提供 了 一 种 方式 ， 可 以 
返回 任意 大 的 数组 一 一 两 次 调用 函数 : 


cl_uint num_devices; 
clGetDeviceIDs(platform, CL_DEVICE_TYPE_ALL, ©, NULL, 
&num_devices); 


cl_device_id* devices = (cl_device_id* )malloc(sizeof 


(cl_device_id) * num devices); 
clGetDeviceIDs(platform, CL_DEVICE_TYPE_ALL, num_devices, devices, 
NULL); 


第 一 次 调用 clGetDeviceIDs() 时 ， 用 NULL 作为 参数 devices 。 
其 返回 时 ，num_devices 已 经 被 设置 成 可 用 设备 的 个 数 。 接 下 来 只 需 
要 创建 一 个 合适 长 度 的 数组 ， 并 第 二 次 调用 clGetDeviceIDs()。 


错误 处 理 
OpenCL 画 数 通 过 错误 码 来 报错 。CL_SUCCESS 表示 函数 运行 成 功 ， 其 


他 的 代码 表示 函数 运行 失败 。 调 用 clGetDeviceIDs( ) 并 进行 错误 处 
理 的 代码 如 下 : 


cl int status; 


cl_uint num_devices; 

status = clGetDeviceIDs(platform, CL_DEVICE_TYPE_ALL, ©, NULL, 
&num_devices); 

if 


(status != CL_SUCCESS) { 
fprintf(stderr, "Error: unable to determine num_devices (%d) 


status); 
exit(1); 


cl_device_id* devices = (cl_device_id* )malloc(sizeof 


(cl_device_id) * num devices); 

status = clGetDeviceIDs(platform, CL_DEVICE_TYPE_ALL, num_devices, 
devices, NULL); 

if 


(status != CL_SUCCESS) { 
fprintf(stderr, "Error: unable to retrieve devices (%d)\n 


", status); 
exit(1); 


eae OpenCL 代 码 会 借助 辅助 钞 数 或 辅助 宏 来 消除 重复 代码 ， 类 
WT: 


DataParallelism/MultiplyArraysWithErrorHandling/multiply_arra 
ys.c 


#define CHECK_STATUS(s) do 


{ \ 
cl_int ss = (s); \ 
if 


(ss != CL_SUCCESS) { \ 
fprintf(stderr, "Error %d at line %d\n" 


ss, _LINE_); \ 


使 用 这 个 辅助 安 : 


DataParallelism/MultiplyArraysWithErrorHandling/multiply_arra 
ys.c 


CHECK_STATUS(clSetKernelArg(kernel, ©, sizeof 


(cl_mem), &inputA)); 


有 些 函 数 不 返回 错误 码 ， 而 是 接受 error_ret 参数 。 比 如 
clCreateContext() 的 函数 原型 : 


cl_context clCreateContext(const 


cl_context_properties* properties, 
cl_uint num_devices, 
const 


cl_device_id* devices, 
void 


(CL_CALLBACK* pfn_notify)(const char 


* errinfo, 

const 
void 
* private_info, 

size_t 


cb, 


void 


* user_data), 
void 


* user_data, 


cl_int* errcode_ret); 


对 这 个 函数 的 错误 处 理 如 下 : 


DataParallelism/MultiplyArraysWithErrorHandling/multiply_arra 
ys.c 


cl_int status; 

cl_context context = clCreateContext(NULL, 1, &device, NULL, NULL, 
&status); 

CHECK_STATUS(status); 


OpenCL 代 码 中 还 有 其 他 一 些 第 用 的 错误 处 理 方式 


蔷 一 种 
最 适合 自己 的 方式 。 


第 一 天 总 结 


我 们 结束 了 第 一 天 的 学 习 。 第 二 天 将 深入 了 解 OpenCL 平 台 、 执 行 和 内 
存 模型 。 


第 一 天 我 们 学 到 了 什么 


利用 OpenCL 可 以 挖掘 出 GPU 的 数据 并 行 处 理 的 能 力 ， 并 进行 通用 编 
程 ， 从 而 获得 很 大 的 性 能 提升 。 


过 将 任务 切 分 成 工作 项 ，OpenCL 可 以 将 任务 并 行 化 。 
。 通过 编写 内 核 ， 指 定 了 单个 工作 项 是 如 何 工 作 的 。 
。 要 执 行内 核 ， 主 机 程序 必须 遵守 以 下 步 又: 
1. 创建 上 下 文 ， 内 核 和 命令 队列 都 将 运行 在 这 个 上 下 文中 ; 


2. 编译 内 核 ; 
3. 创建 输入 数据 的 缓存 区 和 输出 数据 的 缓存 区 ; 
oe 令 队 列 中 输入 一 个 命令 ， 让 每 一 个 工作 项 都 运行 一 次 内 核 


5. 获取 结 
第 一 天 目 习 
查找 
。 阅读 OpenCL 标 准 (The OpenCL specification) ° 
。 阅读 OpenCL API 参 考 卡 片 (The OpenCL API reference card) ° 
。 定义 OpenCL 内 核 的 是 类 C 语 言 。 它 和 C 语 言 有 什么 不 同 ? 
实践 
。 oe oe 使 其 能 处 理 不 同类 型 的 数组 ， 并 分 析 其 性 
o 处理 不 同 数据 类 型 时 性 能 是 否 有 差异 ? 数据 类 型 的 长 度 〈 字 
ERO 是 否 会 影响 性 能 ? 是否 会 影响 与 CPU 的 性 能 比较 结果 ? 


之 前 我 们 将 CL_MEM_COPY_HOST_PTR 传 给 clcreateBuffer() 
来 创建 并 初始 化 缓存 区 。 修 改 主机 代码 ， 使 用 
CL_MEM_USE_HOST_PTR 或 CL_MEM_ALLOC_HOST_PTR (除了 
修改 参数 ， 你 还 需要 修改 一 些 代 码 ) ， 并 分 析 性 能 。 如 何 权 衡 不 
同 缓存 分 配 策略 的 使 用 ? 


修改 主机 代码 ， 用 clEnqueueMapBuffer() 替换 
clcreateBuffer()， 并 分 析 性 能 。 其 适用 于 何 种 场景 ? 不 适用 
于 何 种 场景 ? 


在 标准 C 的 基础 上 ，OpenCL 还 提供 了 大 量 的 数据 类 型 一 一 特别 十 
float4 和 ulong3 这 类 疝 量 类 型 。 修 改 内 核 代 码 ， 进 行 两 组 癌 量 
的 相 乘 。 这 种 向 量 类 型 在 主机 病 应 该 如 何 表 示 ? 


73 BOR: 多 维 空间 与 工作 组 


昨天 我 们 学 习 了 如 何 用 clEnqueueNDRangeKernel( ) 执行 多 个 工作 
项 ， 来 进行 一 维 数组 的 运算 。 今 天 将 扩展 到 多 维 数组 的 运算 ， 并 利用 
OpenCL 的 工作 组 来 解决 更 大 规模 的 问题 。 


多 维 工作 项 空间 
当主 机 程序 调用 clEnqueueNDRangeKernel( ) 执行 内 核 时 ， 就 定义 


TRIE 空间 ， 其 中 的 每 个 点 都 有 全 局 唯一 的 ID， 并 代表 一 个 工作 
I 


内 核 通 过 调用 get_global_id( ) 来 查找 当前 正在 处 理 的 工作 项 的 全 
局 ID。 上 昨天 的 例子 中 索引 空间 是 一 维 的 ， 因 此 内 核 只 需要 调用 
get_global_id() 一 次 。 今 天 我 们 会 创建 一 个 进行 二 维 数组 乘法 的 
内 核 ， 其 需要 调用 get_global_id( ) 两 次 。 


矩阵 乘法 
计 我 们 穿越 回 六 学 时 仆 的 线性 人 数 课 时 重光 一 下 如 何 进行 乍 阵 乘 
法 。 


矩阵 是 一 个 二 维 数组 。 如 果 将 一 个 w xn 的 矩阵 3 与 一 个 m xw 的 和 矩阵 相 
HE (注意 第 一 个 矩阵 的 列 数 一 定 要 等 于 第 二 个 矩阵 的 行 数 ) ， 就 会 得 

到 一 个 m xn 的 矩阵 。 例 如， 将 一 个 2x4 的 矩阵 与 一 个 3x2 的 矩阵 相 乘 会 
得 到 一 个 3x4 的 矩阵 。 


3 作者 本 章 中 的 w xn 表示 的 是 一 个 n Fw 列 的 矩阵 ， 而 通常 我 们 会 用 w xn 表示 一 个 w fin 列 的 
矩阵 。 我 们 将 沿用 作者 的 标记 方法 ， 请 读者 注意 此 差别 。 译 者 注 


为 了 计算 输出 矩阵 上 位 置 为 (i ,j ) 的 元 素 4 的 值 ， 需 要 将 第 一 个 矩阵 的 第 
i o 站 元素 与 第 二 个 矩阵 第 i 列 的 对 应 元 素 相 乘 ， 并 将 所 有 乘积 
i o 


4 作者 本 章 中 的 (i, j ) 表 示 的 是 矩阵 的 第 j 行 第 i 列 的 元 素 ， 而 通常 我 们 会 用 (i , j ) 表 示 和 矩阵 的 第 i 
行 第 ) 列 的 元 素 。 我 们 将 沿用 作者 的 标记 方法 ， 请 读者 注意 此 差别 。 一 “ 详 者 注 


a b\(w x aw+by ax+bz 


CGI a cw+tdy cx+dz 


下 面 是 进行 矩阵 乘法 的 串 行 执行 代码 : 


#define WIDTH_OUTPUT WIDTH_B 
#define HEIGHT_OUTPUT HEIGHT_A 


float 


a[HEIGHT_A][WIDTH_A] = «initialize a» 


float 


b[HEIGHT_B][WIDTH_B] = «initialize b» 


float 

r [HEIGHT_OUTPUT ] [WIDTH_OUTPUT] ; 
for 

(int 


j = 0; j < HEIGHT_OUTPUT; ++j) { 
for 


(int 


i = 0; i < WIDTH_OUTPUT; ++i) { 
float 


sum = 0.0; 
for 


(int 


k = 0; k < WIDTH_A; ++k) { 
sum += a[j][k] * b[k][i]; 


r[j][i] = sum; 


a 


mM DL, ee AEE URS, AERA TT ee oe, KEER 
乘法 确实 十 非 肖 消耗 CPU 的 。 


并 行 矩 阵 乘法 
下 Tel ee PAE TAA ATA CES: 


DataParallelism/MatrixMultiplication/matrix_multiplication.cl 


Line 1 _ kernel void 


matrix_multiplication(uint 


widthA, 

: __ global const float 
* inputA, 

: __ global const float 
* inputB, 


__ global float 


* output) { 
5 
- int 


i = get_global_id(0); 
- int 


j = get_global_id(1); 
- int 


outputWidth = get_global_size(0); 
10 int 


outputHeight = get_global_size(1); 
- int 


widthB = outputWidth; 


- float 


(Int 
k = 0; k < widthA; ++k) { 
15 total += inputA[j * widthA + k] * inputB[k * widthB + 
i]; 


} 
output[j * outputWidth + i] = total; 


这 个 内 核 是 在 一 个 二 维 索引 空间 中 运行 ， 索 引 空 间 中 的 每 个 位 置 都 代 
表 答 出 窍 阵 中 的 一 个 元 隶 。 内 核 通 过 两 次 调用 get_global_id() K 
数 来 获取 当前 的 位 置 (第 6、7 行 ) 。 


Vil Aget_global_size() 可 以 获得 索引 空间 的 大 小 ， 内 核 利用 这 个 
特性 可 以 得 到 输出 矩阵 的 大 小 (第 9、10 行 ) 。 同 时 也 得 到 了 widthB 
， 因 为 它 与 outputwidth 相等 。 不 过 还 是 要 依靠 参数 传 入 widthA。 


第 14 行 的 循环 是 串 行 版 本 代码 中 的 内 循环 一 一 唯一 的 区 别 是 ， 由 于 
OpenCL 的 缓存 区 不 能 是 多 维 的 ， 因 此 没 法 写 出 下 面 这 样 的 代码 ; 


output[j][i] = total; 


但 可 以 用 一 个 简单 的 计算 来 确定 数组 偏 移 : 


output[j * outputwidth + i] = total; 


这 个 内 核对 应 的 主机 程序 与 昨天 的 很 相似 ， 唯 一 的 区 别 是 调用 
clEnqueueNDRangeKernel( ) 时 的 参数 : 


DataParallelism/MatrixMultiplication/matrix_multiplication.c 


size_t work_units[] = {WIDTH_OUTPUT, HEIGHT_OUTPUT}; 
CHECK_STATUS(clEnqueueNDRangeKernel(queue, kernel, 2, NULL, 
work_units, 

NULL, ©, NULL, NULL)); 


pO 


要 创建 二 维 的 索引 空间 ， 需 要 设置 work_dim (第 3 个 参数 ) 的 值 为 
2， 并 将 global _work_size (第 5 个 参数 ) 设置 为 一 个 二 元 数组 ， 该 
二 元 数组 描述 了 每 一 维度 的 大 小 。 


比 起 昨天 的 性 能 分 析 结果 ， 这 个 内 核 有 更 大 的 性 能 提升 。 在 我 的 
Macbook Pro 上 将 200x400 的 和 矩阵 与 300x200 的 和 矩阵 相 乘 ，CPU 花 费 了 66 
ms， 而 GPU 花费 了 3 ms， 人 性 能 提升 了 20 多 倍 。 


由 于 这 个 内 核 花 费 了 很 大 的 工作 量 在 处 理 数据 上 ， 因 此 即使 将 复制 数 
据 的 成 本 考虑 进来 ， 仍 能 获得 很 大 的 性 能 提升 。 在 我 的 Macbook Pro 
上 ， 数 据 复制 需要 花费 2 ms， 那 GPU 花费 的 总 时 间 为 5 ms， 仍 有 13 倍 的 
性 能 提升 。 

到 目前 为 止 ， 本 书 一 直 在 使 用 一 个 假想 的 兼容 OpenCL 标 准 的 GPU。 这 
显然 不 太 现实 ， 因 此 需要 了 解 如 何 确定 一 个 主机 兼容 哪 种 OpenCL 平 台 
和 设备 。 

查询 设备 信息 

OpenCL 提 供 了 多 种 用 于 查询 平台 参数 、 设 备 和 其 他 API 对 象 的 函数 。 
例如 下 面 这 个 函数 ， 其 通过 clGetDeviceInfo( ) 来 查询 一 个 设备 参 
数 ， 并 以 字符 串 形式 输出 : 


DataParallelism/FindDevices/find_devices.c 


void 


print_device_param_string(cl_device_id device, 
cl_device_info param_id, 
const char 


* param_name) { 
char 


value[1024]; 
CHECK_STATUS(c1GetDeviceInfo(device, param_id, sizeof ( 


value), value, NULL)); 
printf("%s: %s\n 


", param_name, value); 


} 


不 同 参数 的 类 型 是 不 一 样 的 〈 字 符 串 、 整 数 、size_t 数组 等 ) 。 通 过 
一 系列 类 似 的 函数 ， 可 以 查询 一 个 指定 设备 的 参数 : 


DataParallelism/FindDevices/find_devices.c 


void 


print_device_info(cl_device_id device) { 
print_device_param_string(device, CL_DEVICE_NAME, "Name 


"); 
print device param string(device, CL_DEVICE_VENDOR, "Vendor 
g 


"); 
print_device_param_uint(device, CL_DEVICE_MAX_COMPUTE_UNITS, 
"Compute Units 


"Y? 


1 
print_device_param_ulong(device, CL_DEVICE_GLOBAL_MEM_SIZE, 
"Global Memory 


"); 
print_device_param_ulong(device, CL_DEVICE_LOCAL_MEM_SIZE, "Local 
Memory 


"); 
print_device_param_sizet(device, CL_DEVICE_MAX_WORK_GROUP_SIZE, 
"Workgroup size 


"); 
} 


本 书 配套 代码 中 有 一 个 find_devices 程序 就 是 使 用 这 样 的 代码 来 查 
ao 的 平台 和 设备 的 。 在 我 的 Macbook Pro 上 运行 这 段 程 序 会 得 到 以 
下 输出 : 


Found 1 OpenCL platform(s) 


Platform 0 
Name: Apple 
Vendor: Apple 


Found 2 device(s) 


Device 0 

Name: Intel(R) Core(TM) i7-3720QM CPU @ 2.60GHz 
Vendor: Intel 

Compute Units: 8 

Global Memory: 17179869184 

Local Memory: 32768 

Workgroup size: 1024 

Device 1 

Name: GeForce GT 650M 


Vendor: NVIDIA 

Compute Units: 2 

Global Memory: 1073741824 
Local Memory: 49152 
Workgroup size: 1024 


其 中 有 一 个 可 用 的 平台 ， 就 是 默认 的 Apple OpenCL 实 现 。 这 个 平台 有 
两 个 设备 : CPU 和 GPU ° 


我 们 还 发 现 一些 有 趣 的 事情 : 


。 OpenCL 不 只 适用 于 GPU (还 适用 于 CPU， 以 及 专用 OpenCL 加 速 
at) ; 


。 我 的 Macbook Pro 的 GPU 有 两 个 计算 单元 (compute unit) ”( 稍 后 会 
学 习 什么 是 计算 单元 ) ; 


。 这 个 GPU 的 全 局 内 存 (global memory) 有 1 GiB; 


© 每 个 计算 单元 的 局 部 内 存 (local memory) 有 48 KiB， 可 支持 的 工 
作 组 的 最 大 规模 为 1024。 


和 以 及 它们 对 代码 的 影 
Hj © 


小 乔 爱问 : 


为 什么 OpenCL 会 适用 于 CPU? 


OpenCL 适 用 于 CPU， 这 是 很 多 人 没有 想到 的 。 事 实 上 现代 CPU 文 
FPA IPT ta CARRY Al T o (Fi) QU Intel hE as wt CFF LN 
SIMD} Feta (Streaming SIMD Extensions, SSE) 和 高 级 矢量 
扩展 指令 集 (Advanced Vector Extensions, AVX) 。OpenCL 可 以 
高 效 地 使 用 这 些 扩展 指令 集 和 多 核 CPU © 


平台 模型 


OpenCL 平 台 由 连接 到 一 个 或 多 个 设备 的 主机 构成 。 每 个 设备 部 有 一 个 
或 多 个 计算 单元 ， 每 个 计算 单元 提供 很 多 处 理 元 件 (processing 
element) ， 如 图 7-6 所 示 。 


设备 计算 单元 


处 理 元 件 


图 7-6 OpenCL 平 台 模 型 


工作 项 是 在 处 理 元 件 中 执行 的 。 在 同一 个 计算 单元 中 执行 的 工作 项 的 


集合 称 为 工作 组 。 一 个 工作 组 中 的 工作 项 共享 使 用 局 部 内 存 。 下 面 将 


介绍 OpenCL 的 内 存 模型 。 


内 存 模型 
工作 项 执行 内 核 程序 时 ， 会 访问 四 种 不 同 的 内 存 区 域 。 


全 局 内 存 (Global memory) : 同一 个 设备 上 执行 的 所 有 工作 项 都 可 以 
使 用 的 内 存 。 


常量 内 存 (Constant memory) : 全 局 内 存 的 一 部 分 ， 在 执行 内 核 时 保 


持 不 变 。 


局 部 内 存 (Local memory) : 工作 组 私有 的 内 存 ， 可 用 于 工作 组 中 不 
同 工 作 项 之 间 的 通信 〈 稍 后 会 举例 说 明 ) 。 


私有 内 存 (Private memory) : 工作 项 私有 的 内 存 。 


前 儿 章 介绍 过 集合 的 化 简 操 作 ， 化 简 操 作 可 以 用 于 解决 很 多 问题 。 下 
一 将 介绍 如 何 实 现 数据 并 行 版 的 化 倘 操 作 。 
小 乔 爱 问 : 
OpenCL 设 备 真 的 是 这 样 工作 的 吗 ? 
OpenCEL 的 平台 模型 和 内 存 模 型 并 不 限制 底层 硬件 的 工作 方式 。 它 
们 只 是 底层 硬件 的 一 种 抽象 不 同 的 OpenCL 设 备 有 多 种 不 同 的 
物理 架构 。 
例如 ， 某 种 OpenCL 设 备 的 局 部 内 存 是 计算 单元 私有 的 ， 而 男 一 种 
设备 的 局 部 内 存 却 是 映射 到 全 局 内 存 的 一 个 区 域 ; 某 种 设备 是 有 
独立 的 全 局 内 存 的 ， 而 另 一 种 设备 则 是 直接 访问 主机 内 存 的 。 


这 些 架构 上 的 差异 在 优化 OpenCL 代 码 时 意义 重大 ， 不 过 这 超出 了 
本 章 的 范围 。 


使 用 数据 并 行进 行 化 简 操 作 


本 节 将 创建 一 个 查找 集合 最 小 元 素 的 内 核 ， 其 使 用 min( ) 函数 对 集合 
进行 化 商 。 


先 用 串 行 编程 来 实现 : 
DataParallelism/FindMinimumOneWorkGroup/find_minimum.c 


cl_float acc = FLT_MAX; 
for (int 


i = 0; i < NUM_VALUES; ++i) 
acc = fmin(acc, values[i]); 


Fr eee Vet eer 


使 用 一 个 工作 组 进行 化 简 操作 

为 叙述 方便 〈 稍 后 会 解释 其 原因 ) ， 进 行 以 下 假设 : 其 一 ， 要 化 简 的 
数组 的 元 素 个 数 是 2 的 乘 方 ， 其 二 ， 要 化 简 的 数组 的 元 素 个 数 不 能 
T A Seereneies 
ZH: 


DataParallelism/FindMinimumOneWorkGroup/find_minimum.cl 


Line 1 _ kernel void 


find_minimum(_ global const Line 1 float 


* values, 
- __ global float 


* result, 
- _ local float 


* scratch) { 
int 

i = get_global_id(0); 
5 int 


n = get_global_size(0); 
scratch[i] = values[i]; 
barrier (CLK_LOCAL_MEM_FENCE); 
for 


(int 


j=n/2;j>0; j/Æ2){ 
z if 


10 scratch[i] = min(scratch[i], scratch[i + j]); 
- barrier (CLK_LOCAL_MEM_FENCE); 


*result = scratch[0]; 


上 面 的 算法 分 为 三 个 阶段 : 


(1) 从 全 局 内 存 向 局 部 内 存 (scratch) 复制 数组 (Bet) ; (2) 进行 
化 简 操 作 〈 第 8~12 行 ) ; O 将 结果 复制 到 全 局 内 存 中 (第 14 行 ) 。 


化 简 操 作 是 按照 一 个 树 形 顺序 进行 的 ， 这 棵 树 非常 像 我 们 在 介绍 
Clojure 的 reducer 时 见 过 的 树 (参见 3.3 节 ) ， 如 图 7-7 所 示 。 


图 7-7 化 简 操 作 的 树 形 顺序 

每 循环 一 次 ， 有 一 半 的 工作 项 将 失去 活性 一 一 原因 和 是 只 有 守 <j 的 工作 
项 才 会 进行 操作 〈 这 就 是 为 什么 要 假设 数组 的 元 素 个 数 是 2 的 乘 方 
这 样 就 能 一 直 对 数组 进行 二 分 而 不 用 担心 边界 情况 ) 。 当 只 剩 下 一 个 


活动 的 工作 项 时 退出 循环 。 每 个 活动 的 工作 项 在 每 个 循环 中 都 会 进行 
一 次 min( ) RIF, HORS BTR SARE PT CR, FPR 
小 者 。 当 退出 循环 时 ，scratch ZB Ayes — Tile (inl BRT FAA 
工作 组 的 第 一 个 工作 项 负责 将 这 个 结果 复制 到 result 中 。 


这 个 内 核 另 一 个 有 趣 的 地 方 是 其 使 用 了 同步 屏障 (barrier) (第 7 行 、 
第 11 行 ) 来 同步 对 局 部 内 存 的 访问 。 


同步 屏障 


同步 屏障 (barrier) 是 一 种 同步 手段 ， 用 来 协调 多 个 工作 项 对 局 部 内 
存 的 使 用 。 如 有 果 工 作 组 中 一 个 工作 项 执行 了 barrier() ， 那 么 该 工作 
组 中 其 他 工作 项 必须 都 要 执行 相同 的 barrier() ， 才 能 从 当前 市 点 继 
续 往 下 执行 (这 种 同步 方式 也 称 作 rendezvous ， 即 会 合 ) 。 在 进行 化 简 
操作 时 ， 这 样 做 有 两 个 用 途 。 


。 在 所 有 工作 项 从 全 局 内 存 问 局 部 内 存 复制 数据 的 动作 全 部 完成 之 
前 ， 确 保 任 一 工作 项 部 不 会 开始 进行 化 侧 操 作 ， 也 确保 了 所 有 工 
Re Nee 


e OpenCL 只 提供 了 宽松 的 内 存 一 致 性 。 这 类 似 于 2.2 节 介绍 的 Java 内 
存 模型 的 内 存 可 见 性 一 一 一 个 工作 项 对 局 部 内 存 进行 的 修改 并 不 
保证 对 为 一 个 工作 项 可 见 ， 除 非 处 于 菏 些 同步 点 ， 比 如 同步 屏 
障 。 所 以 ， 在 每 次 循环 结束 时 执行 同步 屏障 ， 可 以 保证 第 n 轮 循 环 
的 结果 对 第 mn +1 轮 的 所 有 工作 项 都 可 见 。 


运行 内 核 


运行 这 个 内 核 的 方法 与 我 们 之 前 看 到 的 类 似 一 一 唯一 的 区 别 是 如 何 创 
建 局 部 缓存 区 : 


DataParallelism/FindMinimumOneWorkGroup/find_minimum.c 


CHECK_STATUS(clSetKernelArg(kernel, 2, sizeof 
(cl_float) * NUM_VALUES, NULL)); 


调用 clSetKernelArg() 时 ， 将 arg_size 设置 为 缓存 区 的 大 小 ， 
将 arg_value 设置 为 NULL， 这 样 就 创建 了 一 个 局 部 缓存 区 。 


现在 已 经 可 以 用 一 个 工作 组 进行 化 简 控 作 了 。 不 过 工作 组 的 大 小 是 存 
在 限制 的 〈 比 如 ， 我 的 Macbook Pro 的 GPU 上 不 超过 1024 个 元 素 ) 。 下 
面 再 来 看 看 如 何 使 用 多 个 工作 组 实现 并 行 。 

使 用 多 个 工作 组 进行 化 简 操 作 


要 使 用 多 个 工作 组 进行 化 简 操 作 ， 只 需要 将 输入 数组 进行 切 分 并 分 别 
化 简 ， 如 图 7-8 所 示 。 


TR RT RY RT 


or SRP SP OY? 


图 7-8 ”使 用 多 个 工作 组 进行 化 简 操作 


举例 说 明 ， 如 果 每 个 工作 组 一 次 处 理 64 个 值 ， 那 一 个 长 度 为 N 的 数组 
会 被 化 简 成 一 个 长 度 为 N /64 的 数组 。 这 个 化 简 后 的 数组 会 再 次 进行 化 
fal, ELE) B—“ME ° 

要 做 到 这 一 点 ， 就 需要 对 内 核 做 一 些 修改 ， 这 样 才 能 处 理工 作 组 ( 工 


作 组 代表 问题 的 一 个 部 分 ) 。 为 此 ，OpenCL 会 用 局 部 ID 识别 工作 项 ， 
这 个 ID 是 工作 项 在 对 应 工作 组 中 的 ID ， 如 图 7-9 所 示 。 


全 局 ID0 


一 全 局 大 小 一 > 


TI eam Je = =-[ Iann | 


< 局 部 大 小 
局 部 ID0 


图 7-9 工作 组 中 的 局 部 ID 
下 面 这 个 内 核 使 用 了 局 部 ID: 


DataParallelism/FindMinimumMultipleWorkGroups/find_minimu 
m.cl 


__kernel void 


find_minimum(__global const float 


* values, 
__ global float 


* results, 
_ local float 


* scratch) { 
> int 


i = get_local_id(0); 
> int 


n = get_local_size(0); 

> scratch[i] = values[get_global_id(0)]; 
barrier (CLK_LOCAL_MEM_FENCE); 
for 


(int 
jaen/2;j>0; j /=2)¢ 
if 
(i < j) 
scratch[i] = min(scratch[i], scratch[i + j]); 


barrier(CLK_LOCAL_MEM_FENCE); 
} 


if 


(i == 0) 
> results[get_group_id(0)] = scratch[0]; 
} 


在 之 前 get_global_id() 和 get_global_size() 的 位 置 ， 我 们 调 
用 了 get_local id() 和 get_local size()， 其 分 别 返 回 了 工作 
项 相对 于 工作 组 起 始 位 置 的 ID 和 工作 组 的 大 小 。 在 将 值 从 全 局 内 存 复 
制 到 局 部 内 存 时 ， 仍 然 调 用 get_global_id() ， 而 向 results 数组 
存储 结果 时 则 调用 get_group_id() ° 


还 需要 修改 主机 程序 ， 创 建 合适 数量 的 工作 组 : 


DataParallelism/FindMinimumMultipleWorkGroups/find_minimu 
m.c 


size_t work_units[] = {NUM_VALUES}; 
size_t workgroup_size[] = {WORKGROUP_SIZE}; 


CHECK_STATUS(clEnqueueNDRangeKernel(queue, kernel, 1, NULL, 
work_units, 
workgroup_size, ©, NULL, NULL)); 


如 果 将 local_work_size? 设 置 为 NULL， 那 么 和 往常 一 样 ， 
OpenCL 平 台 将 自主 创建 它 认 为 合适 数量 的 工作 组 。 通 过 显 式 设置 
local_work_size 的 值 ， 确 保 工 作 组 的 个 数 符合 我 们 内 核 的 要 求 

(当然 ， 最 大 个 数 是 由 设备 决定 的 一 一 天 于 查看 这 个 限制 的 方法 ， 参 
见 前 面 的 “查询 设备 信息 ”一 节 ) 


5]ocal work_size #clEnqueueNDRangeKernel() 的 第 6 个 参数 。 一 一 译 者 注 


第 二 天 总 结 


我 们 完成 了 第 二 天 的 学 习 。 第 三 天 将 学 习 一 个 应 用 的 例子 ， 其 使 用 
OpenCL 实 现 物理 仿真 ， 并 与 OpenGL 集 成 来 显示 结果 。 


第 二 天 我 们 学 到 了 什么 


OpenCL 定 义 了 一 些 用 于 抽象 底层 硬件 细节 的 概念 ， 包 括 平台 、 执 行 和 
内 存 模型 。 


。 工作 项 是 在 处 理 元 件 中 执行 的 。 
。 多 个 处 理 元 件 构 成 了 计算 单元 。 
。 在 同一 个 计算 单元 中 执行 的 一 组 工作 项 构成 工作 组 。 


。 一 个 工作 组 中 的 工作 项 之 间 通 过 局 部 内 存 进行 通信 ， 利 用 同步 屏 
障 进 行 数据 同步 ， 保 证 一 致 性 。 


第 二 天 自习 
查找 
。 默认 情况 下 ， 命 令 队 列 是 按 序 执行 命令 的 。 如 何 进行 乱 序 执行 ? 
。 什么 是 事件 等 待 列 表 (event wait list) ? 对 于 一 个 被 发 往 无 序 命令 
队列 的 命令 ， 如 何 利用 事件 等 待 列表 来 限制 其 执行 的 时 机 ? 
e clEnqueueBarrier() 是 做 什么 用 的 ? 同步 屏障 适用 于 何 种 场 
景 ? 事件 等 待 列表 又 适用 于 何 种 场景 ? 
实践 
。 修改 化 简 数组 的 例子 ， 使 其 支持 任意 个 元 素 ， 而 不 是 仅 支 持 2 的 乘 
方 个 元 素 。 


。 修改 化 简 数组 的 例子 ， 使 其 文 持 多 个 设备 。 如 果 只 有 一 个 文 持 
OpenCL 的 设备 ， 也 可 以 使 用 CPU， 或 者 用 
clCreateSubDevices() 对 GPU 进行 分 区 。 你 需要 为 每 个 设备 
创建 一 个 命令 队列 ， 并 将 问题 切 分 ， 使 得 一 部 分 工作 项 在 一 个 设 
备 上 执行 ， 而 另 一 部 分 工作 项 在 另 一 个 设备 上 执行 ， 并 保证 命令 
队列 之 间 的 同步 。 

。 今天 演示 的 化 简 算法 非常 简单 。 在 互联 网 上 搜索 一 下 ， 你 会 发 现 
有 很 多 方法 都 可 以 改进 化 简 的 效率 。 在 你 的 设备 上 能 让 化 简 变 得 
多 快 ? 这 些 在 GPU 上 适用 的 优化 方法 是 否 同 样 适 用 于 CPU? 


7.4 第 三 天 OpenCL 和 OpenGL 一 一 全 部 在 
GPU 上 运行 

今天 我 们 将 完成 一 个 完整 的 OpenCL 应 用 ， 其 实现 一 个 物理 仿真 过 程 ， 
并 将 结果 可 视 化 。 在 这 个 过 程 中 ， 不 仅 会 学 习 如 何 创建 一 个 进行 并 行 
仿真 的 内 核 ， 还 会 学 习 如 何 将 OpenCL 和 OpenGL 集 成 起 来 ， 将 整个 过 
程 都 放 在 GPU 上 ， 以 减少 在 不 同 缓存 区 之 间 复 制 数据 的 开销 。 


水 波纹 


今天 的 物理 仿真 的 主题 是 水 波纹 。 虽 然 这 次 仿真 不 会 十 分 精细 ， 但 作 
为 游戏 中 的 一 个 效果 应 该 足够 了 一 一 比如 模拟 雨中 的 湖面 。 


LWJGL 


本 例 中 ， 我 们 将 放弃 使 用 C 语 言 ， 转 而 使 用 Java 及 其 LWJGL 
(LightWeight Java Graphics Library) JÆ6 ， 这 样 能 更 容易 地 创建 跨 平台 
的 GUI 。 


6 http://www.lwjgl.org 


LWJGL 包 装 了 OpenCL 和 OpenGL，Java 程 序 可 以 通过 它 来 使 用 OpenGL 
和 OpenCL 的 C API ° OpenGLA\ 4 EEM OpenCLaK RA eh, FPA) 
是 运行 在 GPU 上 的 OpenCEL 内 核 可 以 直接 使 用 OpenGL 的 缓存 区 。 


使 用 LWJGL 编 写 的 OpenCL 代 码 与 之 前 C 语 言 版 本 的 代码 十 分 类 似 。 比 
如 ， 下 面 的 代码 用 于 初始 化 OpenCL 上下文 、 队 列 以 及 内 核 : 


DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


CL.create(); 
CLPlatform platform = CLPlatform.getPlatforms().get(0); 
List 


<CLDevice> devices = platform.getDevices(CL_DEVICE_TYPE_GPU); 
CLContext context = CLContext.create(platform, devices, null, 
drawable, null); 

CLCommandQueue queue = clCreateCommandQueue(context, 
devices.get(0), ©, null); 


CLProgram program = 
clCreateProgramwithSource(context, loadSource("Zoom.cl 


"), null); 
Util. 


checkCLError(clBuildProgram(program, devices.get(0), "", null)); 
CLKernel kernel = clCreateKernel(program, "zoom 


", null); 


可 以 看 出 ， 这 段 代 码 的 方法 名 和 参数 都 像 极 了 C 语 言 版 本 的 代码 。 为 了 
填 平 语言 之 间 的 差异 ， 比 如 Java 中 是 没有 指针 的 ， 还 是 需要 修改 少量 代 
码 。 一 般 来 说 ， 是 可 以 将 C 语 言 写成 的 OpenGL 主 机 程序 通过 LWJGL 翻 
译 成 Java 版 本 的 。 


用 OpenGL 显 示 网 格 


我 们 并 不 打算 用 过 多 的 篇 幅 来 讨论 OpenGL 元 素 。 不 过 确实 需要 人 花 点 时 
间 ， 来 解释 本 和 的 例子 是 如 何 显 示 用 于 表现 水 波纹 的 网 格 的 ， 这 样 有 
利于 阅读 后 面 的 OpenCL 代 码 。 


OpenGL 的 3D 场 景 是 由 三 角形 构成 的 。 在 本 例 中 ， 将 三 角形 排列 成 如 图 
7-10 所 示 的 网 格 。 


可 以 用 两 个 部 分 来 描述 每 个 三 角形 的 位 置 ， 一 个 顶点 缓存 区 (vertex 
buffer) ， 其 是 顶点 (在 3D 空 间 中 的 位 置 ) 的 集合 ， 一 个 索引 缓存 区 
(index buffer) ， 其 定义 了 如 何 用 顶点 来 绘制 三 角形 。 


(0, O, O) (1, 0, 0) (2, 0, 0) 


图 7-10 三 角形 排列 成 的 网 格 


在 图 7-10 中 ， 顶 点 0 的 位 置 是 (0, 0, 0)， 顶 点 1 的 位 置 是 (1, 0, 0)， 顶 点 2 
的 位 置 是 (2, 0, 0)， 以 此 类 推 。 对 应 的 顶点 缓存 区 是 [0, 0, 0, 1, 0, 0, 2, 0, 
0, 0, 1, 0, 1, 1, 0, ...] ° 


对 于 索引 缓存 区 ， 第 一 个 三 角形 使 用 了 顶点 0、1、3; 第 二 个 三 角形 使 
用 了 顶点 1、3、4; 第 三 个 使 用 了 顶点 1、2、4; 以 此 类 推 。 对 应 的 索 
引 缓 存 区 定义 了 一 个 三 角形 带 (triangle strip) ， 其 通过 三 个 顶点 定义 
T a a a teen 
7-11 所 示 。 


图 7-11 三 角形 带 


本 书 配套 代码 中 定义 了 一 个 Mesh 类 ， 用 来 生成 顶点 缓存 区 和 索引 缓存 
区 的 初始 值 。 下 面 的 代码 使 用 这 个 类 构造 了 一 个 64x64 的 网 格 ， 其 x 轴 
Ally 轴 的 范围 都 是 从 -1.0 到 1.0; 


DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


Mesh mesh = new 


Mesh(2.0f, 2.0f, 64, 64); 
其 z 轴 的 值 始终 为 0 一 一 稍 后 涉及 水 波纹 动画 时 会 使 用 非 0 值 。 
生成 的 数据 会 被 复制 到 OpenGL 缓 存 区 中 : 


DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


int 


vertexBuffer = glGenBuffers(); 
glBindBuffer(GL_ARRAY_BUFFER, vertexBuffer); 
glBufferData(GL_ARRAY_BUFFER, mesh.vertices, GL_DYNAMIC_DRAW); 


int 


indexBuffer = glGenBuffers(); 

glBindBuffer (GL_ELEMENT_ARRAY_BUFFER, indexBuffer); 
glBuf ferData(GL_ELEMENT_ARRAY_BUFFER, mesh.indices, 
GL_STATIC_DRAW) ; 


这 段 代码 首先 使 用 glLlGenBuffers( ) 为 每 个 缓存 区 分 配 ID ， 然 后 用 

glBindBuffer() 将 其 绑 定 到 一 个 目标 上 ， 并 用 glLBufferData( ) 

为 其 设置 初始 值 。 和 索引 缓存 区 使 用 了 GL_STATIC_DRAW 标记 ， 意 味 着 
它 是 不 变 的 (静态 的 ) ; 而 顶点 缓存 区 使 用 了 GL_DYNAMIC_DRAW 标 
记 ， 意 味 着 其 会 在 动画 帧 之 间 发 生 改 变 。 


在 实现 水 波纹 的 代码 之 前 ， 先 尝试 一 个 简单 的 例子 一 一 创建 一 个 简单 
的 内 核 ， 让 其 随 着 时 间 而 放大 网 格 的 面积 。 


从 OpenCL 内 核 访 问 OpenGL 缓 存 区 
下 面 这 个 内 核实 现 了 放大 动作 : 


DataParallelism/Zoom/src/main/resources/zoom.cl 


__kernel void 
zoom(__global float 

* vertices) { 

unsigned int 


id = get_global_id(0); 
vertices[id] *= 1.01; 


} 


其 参数 是 一 个 顶点 缓 仓 区 ， 负 和 贡 将 该 缓 仓 区 的 每 个 元 素 都 乘 以 1.01， 
次 调用 该 内 核 会 将 网 格 的 面积 放大 1% 。 


为 了 能 将 顶点 缓存 区 传 给 内 核 ， 要 创建 一 个 OpenCL 缓 存 区 来 引用 这 个 
顶点 缓存 区 : 


DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


CLMem vertexBufferCL = 
clCreateFromGLBuffer(context, CL_MEM_READ_WRITE, vertexBuffer, 
null); 


在 负责 绘制 的 主 循环 代码 中 可 以 使 用 这 个 缓存 区 对 象 : 
DataParallelism/Zoom/src/main/java/com/paulbutcher/Zoom.java 


while 


(!Display.isCloseRequested()) { 
glClear(GL_COLOR_BUFFER_BIT | GL_DEPTH_BUFFER_BIT); 
glLoadIdentity(); 
glTranslatef(0.0f, 0.0f, planeDistance); 
glDrawElements(GL_TRIANGLE_STRIP, mesh.indexCount, 

GL_UNSIGNED_SHORT, 0); 


Display.update(); 
> Util 


.checkCLError(clEnqueueAcquireGLObjects(queue, vertexBufferCL, 
null, null)); 


> kernel.setArg(0, vertexBufferCL); 


> clEnqueueNDRangeKernel(queue, kernel, 1, null, workSize, null, 
null, null); 
> Util 


. checkCLError(clEnqueueReleaseGLObjects(queue, vertexBufferCL, 
null, null)); 


> clFinish(queue); 


} 


这 段 代码 在 OpenCL 内核 使 用 OpenGL 缓 存 区 前 ， 首 先 调用 了 
clEnqueueAcquireGLObjects() 进行 申请 。 然 后 将 这 个 缓存 区 作 
为 内 核 的 一 个 参数 ， 并 像 以 前 一 样 调用 了 
clEnqueueNDRangeKernel() 。 最 后 通过 
clEnqueueReleaseGLObjects() 来 释放 缓存 区 ， 并 调用 
clFinish() 来 等 竺 发 往 命 令 队 列 的 命令 运行 完成 。 


运行 这 段 代码 ， 可 以 看 到 一 个 网 格 刚 开始 很 小 ， 但 快速 地 被 放大 ， 最 
终 成 为 一 个 充满 整个 屏幕 的 三 角形 。 


我 们 已 经 完成 了 一 个 人 简单 的 动画 ， 其 将 OpenGL 和 OpenCL 结 合 在 一 
起 。 接 下 来 可 以 实现 更 复杂 的 内 核 来 仿真 水 波纹 了 。 


仿真 水 波纹 


现在 要 开始 IRAI 散 效 有 末了。 每 个 波纹 由 两 个 参数 来 定义 : 
ANE AU ETAD w) 和 一 个 开始 扩散 时 间 。 传 给 内 核 
的 参数 包括 一 个 指向 OpenGL 顶 点 缓存 区 的 指针 、 一 个 含有 扩散 中 心 点 
的 数组 以 及 一 个 时 间 数 组 〈 时 间 单 位 是 毫秒 ) : 


DataParallelism/Ripple/src/main/resources/ripple.cl 


Line 1 #define AMPLITUDE 0.1 
#define FREQUENCY 10.0 
- #define SPEED 0.5 
#define WAVE PACKET 50.0 
-5 #define DECAY_RATE 2.0 
__kernel void 


ripple(__global float 


* vertices, 
- __ global float 


* centers, 
- __ global long 
* times, 
- int 
num_centers, 
10 long 


now) { 
- unsigned int 


id = get_global_id(0); 
- unsigned int 


offset = id * 3; 
- float 


x = vertices[offset]; 


- float 


y = vertices[offset + 1]; 
15 float 


i = 0; i < num_centers; ++i) { 
if 


(times[i] != 0) { 
- float 


dx = x - centers[i * 2]; 
20 float 


dy = y - centers[i * 2 + 1]; 
- float 


d = sqrt(dx * dx + dy * dy); 
- float 


elapsed = (now - times[i]) / 1000.0; 
- float 


r = elapsed * SPEED; 
- float 


delta = r - d; 
25 z += AMPLITUDE * 

- exp(-DECAY_RATE * r * r) * 
exp(-WAVE_PACKET * delta * delta) * 
cos( FREQUENCY * M_PI_F * delta); 

} 


vertices[offset + 2] = z; 


30 


上 面 的 代码 移 获 取 了 当前 工作 项 的 顶点 在 x 轴 和 y 轴 的 位 置 (第 13、14 


T) 。 循 环 (第 17~30 行 是 用 于 计算 在 z 轴 的 位 置 ， 之 后 将 这 个 位 置 
写 回 顶点 缓存 区 (第 31 行 ) 。 


在 循环 中 ， 依 次 检查 了 每 一 个 开始 扩散 时 间 非 0 的 水 波纹 。 对 于 每 一 个 
这 样 的 水 波纹 ， 首 先 计算 当前 工作 项 的 顶点 到 水 波纹 中 心 的 距离 d (第 


21 行 ) ， 然 后 计算 水 波纹 扩散 的 半径 r (第 23 行 ) ， 以 及 当前 顶点 到 波 
纹 的 距离 5 (第 24 行 ) ， 如 图 7-12 所 示 。 


Pi | 


水 波纹 中 心 
d—_e—6s— 
当前 顶点 


图 7-12 水 波纹 的 参量 
综合 r 和 6 计算 得 到 z : 


z= Ae Pr WO cos(F ró) 


其 中 ，A、D、W 、 下 是 常量 ,分别 表示 波纹 的 幅度 、 幅 度 随 着 扩散 的 
衰减 程度 、 波 纹 的 宽度 和 波纹 的 频率 。 


最 后 还 需要 修改 一 下 主机 程序 ， 创 建 缓存 区 : 


DataParallelism/Ripple/src/main/java/com/paulbutcher/Ripple.java 
int 


numCenters 
int 


currentCenter = 0; 
FloatBuffer 


centers = BufferUtils.createFloatBuffer(numCenters * 2); 
centers.put(new float 


[numCenters * 2]); 
centers.flip(); 
LongBuf fer 


times = BufferUtils.createLongBuffer(numCenters) ; 
times.put(new long 


[numCenters]); 
times.flip(); 


CLMem centersBuffer = 

clCreateBuffer(context, CL_MEM_READ_ONLY | 
CL_MEM_COPY_HOST_PTR,centers, null); 
CLMem timesBuffer = 

clCreateBuffer(context, CL_MEM_READ_ONLY | CL_MEM_COPY_HOST_PTR, 
times, null); 


HETE ATE BBP FAA BT ABE 


DataParallelism/Ripple/src/main/java/com/paulbutcher/Ripple.java 


while 


(Mouse.next()) { 
if 


(Mouse.getEventButtonState()) { 
float 


x = ((float 


)Mouse.getEventX() / Display.getWidth()) * 2 - 1; 
float 


y = ((float 
)Mouse.getEventY() / Display.getHeight()) * 2 - 1; 
FloatBuffer 


center = BufferUtils.createFloatBuffer(2); 
center.put(new float[] 


{x, y}); 
center.flip(); 
clEnqueuewriteBuffer(queue, centersBuffer, 0, 
currentCenter * 2 * FLOAT_SIZE, center, null, null); 
LongBuf fer 


time = BufferUtils.createLongBuffer(1); 
time.put(System 


.currentTimeMillis()); 
time. flip(); 


clEnqueuewriteBuffer(queue, timesBuffer, 0, 
currentCenter * LONG_SIZE, time, null, null); 
currentCenter = (currentCenter + 1) % numCenters; 
} 
} 


编译 并 运行 这 段 代 码 ， 多 次 点 击 网 格 ， 将 会 看 到 如 图 7-13 所 示 的 景象 。 


图 7-13 水 波纹 

我 们 成 功 了 一 一 在 GPU 上 完成 了 一 次 物理 仿真 ， 通 过 并 行 计 算 不 仅 进 
行 了 仿真 ， 还 对 结果 进行 了 3D 可 视 化 。 仿 真 和 可 视 化 需要 的 数据 都 在 
GPU 上 ， 不 需要 多 余 的 数据 复制 。 

第 三 天 总 结 


我 们 完成 了 第 三 天 的 学 习 ， 同 时 也 结束 了 用 OpenCL 在 GPU 上 进行 数据 
并 行 的 讨论 。 


第 三 天 我 们 学 到 了 什么 


企 GPU 上 运行 的 OpenCL 内 核 可 以 直接 使 用 在 同一 个 GPU 上 运 云 行 的 
OpenGL 程 序 的 缓存 区 。 我 们 已 经 学 习 了 以 下 内 容 : 


。 在 OpenCL 中 用 clLcreateFromGLBuffer() 为 一 个 OpenGL 缓 存 
区 创建 引用 ，; 


。 将 OpenGL 绥 存 区 作为 参数 传 给 内 核 有 前， 使 用 
clEnqueueAcquireGLObjects() 提出 申请 ; 


。 内 核 运 行 结束 时 ， 使 用 clEnqueueReleaseGLObjects() 释放 
缓存 区 。 


第 三 天 目 习 
查找 


。 什么 是 图 像 对 象 (image object) ? 它 和 OpenCL 的 缓存 区 对 象 有 什 
么 区 别 ? 当 不 需要 与 OpenGL 交 互 时 ， 图 像 对 象 是 否 适 用 ? 


° ue ERAT A (sampler object) ° 它 适 用 于 解决 什么 样 的 问 
题 ? 


+ +S IRF BAL (atomic function) ? 什么 场景 下 会 用 原子 丽 数 替 
代 同 步 屏障 ? 
实践 


。 在 不 使 用 原子 函数 的 情况 下 ， 创 建 一 个 内 核 ， 其 接受 一 个 整数 组 
存 区 (整数 范围 为 0~32) ， 统 计 缓存 区 中 每 个 整数 的 出 现 次 数 并 
0 0 E E 
改 ? 


”使 用 原子 本 数 创建 内 核 再 次 解决 上 面 的 问题 ， 并 比较 这 两 个 廊 


7.5 复习 


出 于 某 些 原因 ， 在 一 些 关 于 并 行 的 主流 讨论 中 数据 并 行 弟 被 忽略 。 不 
过 通过 本 章 的 学 习 ， 我 们 已 经 了 解 到 数据 并 行 是 一 种 非常 强力 的 工 
县 ， 可 以 大 六 改 壮 代 码 的 效率 ， 所 有 程序 员 都 应 该 将 其 收录 到 目 己 的 


数据 并 行 非 钊 适用 于 处 理 大 量 数值 数据 ， 尤 其 适合 于 科学 计算 、 工 程 
计算 以 及 仿真 领域 ， 比 如 流体 力学 、 有 限 元 分 析 、NN 体 模 拟 、 模 拟 退 
火 、 骸 群 优化 、 神 经 网 络 等 。 


GPU 不 仅 是 强大 的 数据 并 行 处 理 器 ， 在 能 耗 方面 也 表现 出 众 ， 比 传统 
的 CPU 有 更 优秀 的 GFLOPS/watt” 指标 。 世 界 上 最 快 的 超级 计算 机 都 广 
Re VE 
JRA] ° 


”GEFLOPS 是 十 亿 次 浮 点 运算 / 秒 (giga floating-point operations per second) 的 缩写 。 
GEFLOPS/watt 是 用 于 衡量 GPU 效能 比 的 单位 。 一 一 译 者 注 


8 http://www.top500.org/lists/2013/06/ 
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数据 并 行 编程 ， 更 准确 地 说 是 GPGPU 编 程 ， 在 其 适用 的 领域 内 所 向 披 
靡 。 但 它 并 不 适用 于 所 有 问题 领域 。 值 得 一 提 的 是 ， 虽 然 用 数据 并 行 
可 以 解决 一 些 非 数值 问题 (比如 自然 语言 处 理 ) ， 但 这 样 做 并 不 容易 
一 一 现今 的 工具 集 绝 大 多 数 关 注 的 是 数值 处 理 。 


对 OpenCL 内 核 进 行 调 优 十 一 个 技术 活 ， 理 解 了 发 层 架构 的 细 广 才能 有 
效 地 进行 调 优 。 如 果 要 写 出 高 效 的 跨 平 台 的 代码 ， 就 会 变 得 异常 复 

杂 。 在 解决 某 些 问题 时 ， 从 主机 往 设备 上 复制 数据 会 消耗 大 量 的 时 
间 ， 这 会 减弱 甚至 抵消 我 们 从 并 行 计算 中 获得 的 收益 。 


其 他 语言 


GPGPU 框 架 还 包括 CUDA? ` DirectComputet? 以 及 RenderScript 
Computation! 。 


9 http://www.nvidia.com/object/cuda_home_new.html 

10 http://msdn.com/directx 

U http://developer.android.com/guide/topics/renderscript/compute.html 
结语 


GPGPU 编 程 是 小 规模 应 用 数据 并 行 拉 术 的 例子 一 一 所 谓 小 规模 ， 指 的 
是 程序 运行 在 一 台 计 算 机 上 “。 下 一 章 我 们 将 学 习 Lambda 架 构 ， 使 用 它 


可 以 大 规模 (跨越 多 台 计 算 机 ) 应 用 数据 并 行 技术 。 


第 8 章 Lambda 架 构 


如 有 果 需 要 将 一 大 批 货物 从 国家 的 一 端 运往 另 一 端 ，18 轮 的 大 卡车 是 不 
二 之 选 。 如 来 仅 运 送 一 个 快递 包 硅 ， 大 卡车 整 不 太 运 用 了 ， 因 此 综合 
性 的 航运 公司 也 会 使 用 一 些小 货车 进行 本 地 的 货物 收发 。 


Lambda 架 构 采 用 了 类 似 的 方法 ， 既 使 用 了 可 以 进行 大 规模 数据 批 处 理 
的 MapReduce 技 术 ， 也 使 用 了 可 以 快速 处 理 数据 并 及 时 反馈 的 流 处 理 拉 
术 ， 这 样 的 袍 搭 能 够 为 大 数据 问题 捉 供 扩展 性 、 啊 应 性 和 容错 性 都 很 
优秀 的 解决 方案 。 


8.1 并 行 计算 搞定 大 数据 


近年 来 ， 大 数据 时 代 的 到 来 为 数据 处 理 领 域 带 来 了 巨大 的 变化 。 不 同 
于 传统 数据 处 理 ， 大 数据 领域 广泛 使 用 了 并 行 计算 一 -只 要 有 足够 的 
计算 资源 束 可 以 处 理 TB 级 别 的 数据 。Lambda 架 构 是 一 种 大 数据 处 理 技 
术 ， 源 于 Nathan Marz 在 BackType 和 Twitter 的 经 验 总 结 并 由 此 推广 开 
fe o 


与 上 一 章 讨论 的 GPGPU 编 程 类 似 ，Lambda 架 构 也 使 用 了 数据 并 行 技 
术 。 与 GPGPU 编 程 不 同 ，Lambda 架 构 是 站 在 大 规模 场景 的 角度 来 解决 
问题 的 ， 它 可 以 将 数据 和 计算 分 布 到 几 十 台 或 几 百 台 机 需 构 成 的 集群 
上 进行 。 这 种 技术 不 但 解决 了 之 前 因为 规模 庞大 而 无 法 解决 的 难题 ， 
还 可 以 构建 出 对 硬件 错误 和 人 为 错误 进行 容错 的 系统 。 


Lambda 架 构 包 含 了 很 多 内 容 ， 本 章 只 侧重 于 其 并 发 和 分 布 式 特性 (如 
需要 深入 学 习 ， 推 荐 阅读 Nathan 的 著作 Big Data [MW14]) 。 对 于 
Lambda 架 构 中 的 诸多 组 件 ， 本 书 将 侧重 介绍 两 个 主要 的 : 批 处 理 层 
(Batch Layer) 和 加 速 层 (Speed Layer) ， 如 图 8-1 所 示 。 


批 处 理 层 使 用 MapReduce 这 类 批 处 理 技 术 从 历史 数据 中 对 批 处 理 视 图 进 
行 预计 算 。 这 种 计算 效率 很 高 但 延迟 也 很 高 ， 所 以 又 增加 了 一 个 加 速 


屋 ， 使 用 流 处 理 等 低 延 迟 技术 从 接收 到 的 新 数据 中 计算 实时 视图 。 合 
并 这 两 种 视图 ， 束 可 以 获得 最 终 的 计算 结 来 。 


本 书写 到 现在 ，Lambda 架 构 是 最 复杂 有 的 专题 。 它 以 很 多 其 他 技术 为 基 
石 ， 其 中 最 重要 的 就 是 MapReduce。 第 一 天 ， 我 们 将 只 学 习 MapReduce 
技术 ， 而 忽略 其 使 用 的 场景 。 第 二 天 ， 肯 先 学 习 传统 数据 系统 中 的 问 

题 ， 然 后 学 习 在 Lambda 架 构 的 批 处 理 层 如 何 使 用 MapReduce 技 术 解 决 

这 些 问 题 。 第 三 天 ， 学 习 流 处 理 技术 ， 以 及 如 何 使 用 这 项 技术 构造 加 

速 层 ， 这 样 瓯 可 以 一 笑 Lambda 架 构 的 全 狗 了 。 


批 处 理 层 批 处 理 视图 


原始 数据 


图 8-1 批 处 理 层 和 加 速 层 


8.2 ”第 一 天 : MapReduce 


MapReduce 是 一 个 多 义 的 术语 。 其 可 以 指 代 一 类 算法 ， 这 类 算法 分 为 两 
SEER: 对 一 个 数据 结构 首先 进行 映射 (map) 操作 ， 然 后 进行 化 简 
(reduce) 操作 。 之 前 的 词 频 统计 的 函数 式 版 本 正 是 这 样 的 例子 
(frequencies 就 是 用 reduce KAEMAS) 。 我 们 在 3.3 节 中 讨论 
过 ， 将 算法 拆 成 映射 和 化 简 两 步 的 一 个 好 处 是 易于 并 行 化 。 


MapReduce 还 可 以 指 代 一 类 系统 一 这 类 系统 使 用 了 上 面 的 算法 ， 将 计 
算 过 程 高 效 地 分 布 到 一 个 集群 上 。 这 类 系统 不 仅 可 以 将 数据 和 数据 处 
办 分 布 到 集 烙 的 多 后 计算机 上 ， 还 可 以 在 一 全 或 多 全 计算 机 崩 尖 时 级 
续 正常 运转 。 


当 MapReduce 指 代 一 类 系统 时 ， 可 以 说 它 是 Google 发 明 的 !。 除 了 
Google， 最 流行 的 MapReduce 框 架 是 Hadoop* ° 


l http://research.google.com/archive/mapreduce.html 


2 http://hadoop.apache.org 


今天 将 结合 前 面 的 Wikipedia 词 频 统 计 的 例子 ， 用 Hadoop 实 现 一 个 使 用 
MapReduce 的 并 行 版 本 。Hadoop 支 持 多 种 编程 语言 我 们 选用 Java。 


小 乔 爱问 : 
怎么 用 了 这 么 个 名 称 ? 


对 于 “Lambda 架 构 ” 这 个 名 称 有 多 种 推测 。 我 认为 最 好 的 解释 来 目 
于 Lambda 架 构 之 父 Nathan Marz? : 


Lambda 架 构 源 目 于 它 与 函数 式 编 程 的 相似 性 。 从 本 质 上 说 ， 
Lambda 架 构 是 将 计算 函数 施加 于 大 量 数据 的 一 种 通用 方法 。 ( 原 
X: The name is due to the deep similarities between the architecture 
and functional programming. At the most fundamental level, the 
Lambda Architecture is a general way to compute functions on all your 
data at once) 


a. http://www.manning-sandbox.com/message.jspa?messageID=126599 


可 行 性 


开发 和 调试 MapReduce 程 序 的 起 点 是 在 本 地 运行 Hadoop。 要 在 一 个 集 
群 上 运行 Hadoop 在 过 去 是 很 痛 可 的 一 不 是 每 位 读者 都 有 足够 的 闲置 
计算 机 来 组 建 一 个 集群 ， 而 且 残 算 能 组 建 一 个 集群 ， 安 装 、 配 置 和 维 
护 Hadoop 集 群 需要 大 量 的 时 间 和 精力 。 


幸运 的 是 ， 云 计算 提供 了 按 需 使 用 、 计 时 收费 的 虚拟 机 服务 ， 从 而 大 
大 改善 了 这 一 状况 。 而 且 许 多 云 计算 供应 两 直接 提供 了 Hadoop 集 群 的 
管理 服务 ， 大 大 们 化 了 集群 的 配置 和 维护 。 


我 们 将 使 用 Amazon Elastic MapReduce (EMR) 服务 来 运行 本 章 的 例子 
3 。 之 后 都 将 在 EMR 上 进行 集群 的 局 动 、 停 止 、 复 制 数据 等 操作 ， 其 背 
后 的 原理 同样 适用 于 所 有 Hadoop 集 群 。 


3 http://aws.amazon.com/elasticmapreduce/ 


为 了 运行 本 章 的 例子 ， 需 要 注册 一 个 Amazon AWS 账 号 ， 并 安装 AWS 
和 和 EMR 命令 行 工 具 4,5 o 


4 http://aws.amazon.com/cli/ 


3 http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-cli-reference.html 
小 乔 爱问 : 
如 何 搞定 Hadoop 的 版 本 ? 
Hadoop 一 直 执着 地 使 用 一 套 混 乱 的 版 本 号 体系 ， 本 书 撰写 时 其 活 
跃 的 版 本 号 就 有 0.20.x、1.x、0.22.x、0.23.x、2.0.x、2.1.x 和 2.2.x。 
这 些 版 本 支持 两 套 API， 一 套 是 “| 旧 ” 的 API 


(org.apache.hadoop.mapred 包 ) ， 另 一 套 是 “新 ”的 API 
(org.apache.hadoop.mapreduce 包 ) 。 


另外 ， 不 同 的 Hadoop 发 行 版 会 打包 Hadoop 某 个 版 本 和 一 系列 的 第 
三 方 组 件 abe 。 


本 章 的 例子 都 会 使 用 “新 ”的 API， 并 在 Amazon 3.0.2 AMI (Hadoop 
2.2.01) 上 测试 通过 。 


a. http://hortonworks.com 
b. http://www.cloudera.com 
c. http://www.mapr.com 


d. http://docs.aws.amazon.com/ElasticMapReduce/latest/DeveloperGuide/emr-plan-hadoop- 


version.html 


Hadoop 基 础 


Hadoop 就 是 用 来 处 理 大 量 数据 的 工具 。 如 采 你 的 数据 不 是 以 吉 字 下 或 
者 更 大 的 单位 来 度量 ， 那 就 不 适合 使 用 Hadoop。 Hadoo 的 效率 源 E At 
它 将 数据 分 块 后 分 别 交 给 多 台 计 算 机 进行 处 理 。 


我 们 很 容易 猜 到 ， 一 个 MapReduce 任 务 由 两 种 主要 的 组 件 构成 : mapper 
Allreducer® 。mapper 负 责 将 某 种 输入 格式 (通常 是 文本 ) 映射 为 许多 键 
值 对 。reducer 负 责 将 这 些 键 值 对 转换 成 最 终 的 输出 格式 (通常 也 是 一 
系列 键 值 对 ) 。mapper 和 reducer 可 以 分 布 在 很 多 不 同 的 计算 机 上 (EC 
们 的 数目 不 必 相 同 ) ， 如 图 8-2 所 示 。 


| 译 为 “映射 器 * 和 “化 简 器 *"， 本 章 中 为 了 和 Hadoop 的 类 名 对 


6 之 前 的 章节 将 mapper 和 reducer 分 另 
应 ， 保 留 英 文 名 称 。 译 者 注 


输入 


输出 
8 
3 
ê à 


0 


C) 


图 8-2 ”Hadoop 数 据 流 


输入 通常 由 一 个 或 多 个 大 文本 文件 构成 。Hadoop 对 这 些 文件 进行 分 厂 
(每 一 片 的 大 小 是 可 配置 的 ， 通 常 为 64 MB) ， 并 将 每 个 分 片 发 送 给 一 
个 mapper。 mapper 将 输出 一 系列 键 值 对 ，Hadoop 青 将 这 些 键 值 对 发 送 


给 reducer ° 


一 个 mapper 产 生 的 键 值 对 可 以 发 送 给 多 个 reducer。 键 值 对 的 键 决 定 了 
哪个 reducer 会 接受 这 个 键 值 对 一 一 Hadoop 确 保 具 有 相同 键 的 键 值 对 

(无 论 是 由 哪个 mapper 产 生 的 ) 都 会 发 送 给 同一 个 reducer 处 理 。 这 个 
阶段 通常 被 称 为 洗 牌 阶段 (shuffle phase) 。 


Hadoop 为 每 个 键 调 用 一 次 reducer， 并 传 入 所 有 与 该 键 对 应 的 值 。 
再 生成 最 终 和 输出 结果 (通常 是 键 值 对 ， 也 可 以 
不 是 ) 。 


理论 略 显 枯燥 一 一 之 前 介绍 过 Wikipedia 词 频 统计 的 例子 ， 现 在 来 实现 
它 的 Hadoop 版 本 。 


词 频 统计 的 Hadoop 版 本 


为 了 让 起 步 更 平稳 ， 我 们 先 将 需求 简化 为 : 统计 几 个 文本 文件 中 的 词 
频 (之 后 会 将 需求 扩展 到 统计 Wikipedia dump 的 词 频 ) 。 


本 例 的 mapper 每 次 会 处 理 一 行文 本 ， 将 其 切 分 为 单词 ， 再 用 键 值 对 来 

摘 述 每 个 单词 。 键 值 对 的 键 是 单词 本 身 ， 而 值 则 是 币 数 1 。 对 于 每 个 单 

词 ， 本 例 的 reducer 会 对 相关 的 所 有 键 值 对 的 值 进行 求 和 ， 并 生成 一 个 

o ， 该 键 值 对 的 值 古 这 个 单词 在 整个 输入 中 出 现 的 次 数 。 如 
8-3PTZN ° 


("one", 1) 


one potato ("potato", 1) 
two potato E ("two", 1) 
three potato N 


("potato", 1) 
four ae 


(one 1) 
("potato", 6) 
("two", 1) 
(three 1) 


("five", 1) ri 
five potato ("potato", 1) Fd 
six potato PO, ("six", 1) i 

seven potato 


("potato", 1) 
more a 


图 8-3 ” 词 频 统计 的 Hadoop 版 本 


Mapper 


我 们 的 Map 继承 了 Hadoop 的 Mapper 类 ， 其 接受 四 个 类 型 参数 : 输入 
的 键 类 型 、 输 入 的 值 类 型 、 输 出 的 键 类 型 、 输 出 的 值 类 型 : 


LambdaArchitecture/WordCount/src/main/java/com/paulbutcher/ 
WordCount.java 


Line 1 public static class 


Map extends 
Mapper<Object 


, Text, Text, IntWritable> { 
- private final static 


Intwritable one = new 


IntWritable(1); 


public void 
map(Object 
key, Text value, Context 


context ) 
5 throws 


IOException, InterruptedException { 
String 


line = value.toString(); 
Iterable 


<String 
> words = new 


Words(line); 
for 


(String 


word: words) 
10 context.write(new 


Text(word), one); 
ie. ad 


aa: 


Hadoop 表 示 输 入 和 输出 时 需要 使 用 目 己 的 数据 类 型 (不 能 直接 使 用 
String 或 者 Integer ) 。mapper 要 处 理 的 是 文本 数据 ， 而 不 是 键 值 
对 ， 因 此 不 需要 输入 的 键 类 型 (用 Object 替代 ) ， 而 输入 的 值 类 型 是 
Text 。 输 出 的 键 类 型 是 Text ， 值 类 型 是 Intwritable 。 


每 处 理 一 行 输入 文本 都 要 调用 一 次 map ( ) 方法 ， 对 输入 的 行进 行 切 
分 。 首 先 将 输入 的 行 转换 为 Java 的 String 类 型 〈 第 7 行 ) ， 然 后 将 字 
符 串 切 分 为 单词 (第 8 行 ) ， 最 后 遍历 所 有 单词 ， 为 每 一 个 单词 生成 相 
应 的 键 值 对 ， 其 键 是 单词 本 身 ， 其 值 是 常数 1 (第 10 行 ) 。 


Reducer 


我 们 的 Reduce 继承 了 Hadoop 的 Reducer 类 ， 与 Mapper 类 似 ， 其 参 
数 也 描述 了 输入 和 输出 的 键 值 类 型 (本 例 中 键 类 型 都 是 Text ， 值 类 型 
都 是 IntWritable ) : 


LambdaArchitecture/WordCount/src/main/java/com/paulbutcher/ 
WordCount.java 

public static class 
Reduce extends 


Reducer<Text, Intwritable, Text, IntWritable> { 
public void 


reduce(Text key, Iterable 
<IntWritable> values, Context 


context ) 
throws 


IOException, InterruptedException { 
int 


sum = 0; 
for 


(IntWritable val: values) 
sum += val.get(); 
context.write(key, new 


Intwritable(sum) ); 
} 


对 于 每 个 键 ， 都 会 调用 一 次 reduce( ) Wik, values 是 这 个 键 对 应 
的 所 有 值 的 集合 。reduce( ) 方法 对 这 些 值 进行 求 和 ， 并 产生 描述 某 
个 单词 出 现 总 数 的 键 值 对 。 


现在 已 经 得 到 了 一 个 mapper 和 一 个 reducer， 剩 下 的 任务 就 是 创建 一 个 
driver， 这 样 Hadoop 才 知道 如 何 让 这 几 个 部 分 运转 起 来 。 


Driver 


我 们 的 driver 是 一 个 Hadoop 的 To01 ， 实 现 了 run( ) 方法 : 


LambdaArchitecture/WordCount/src/main/java/com/paulbutcher/ 
WordCount.java 


Line 1 public class 


WordCount extends 
Configured implements 


Tool { 


- public int 
run(String[] 
args) throws 


Exception { 
- Configuration 


conf = getConf(); 
5 Job job = Job.getInstance(conf, "wordcount 


")i 
- job.setJarByClass(WordCount.class); 
- job.setMapperClass(Map 


- job.setReducerClass(Reduce.class); 
- job.setOutputKeyClass(Text.class); 

10 job.setOutputValueClass(IntWritable.class); 
- FileInputFormat.addInputPath(job, new 


Path(args[0])); 
- FileOutputFormat.setOutputPath(job, new 


Path(args[1])); 
- boolean 


success = job.waitForCompletion(true); 
- return 


success ? 0 : 1; 
15 } 
- public static void 
main(String[] 


args) throws 


Exception { 
- int 


res = ToolRunner.run(new Configuration 
(), new 


WordCount(), args); 
- System 


.exit(res); 


这 段 代码 主要 是 公式 化 地 告诉 Hadoop 我 们 要 做 什么 。 首 先 ， 第 7 行 和 第 
8 行 设 置 了 mapper 和 reducer 的 类 ， 第 9 行 和 第 10 行 设置 了 输出 的 键 类 型 
和 值 类 型 。 这 里 不 需要 设置 输入 的 键 类 型 和 值 类 型 ， 因 为 默认 情况 下 


Hadoop 认 为 我 们 处 理 的 是 文本 文件 。 也 不 需要 分 别 设 置 mapper 输 出 的 
键 / 值 类 型 和 reducer 输 入 的 键 / 值 类 型 ， 因 为 默认 情况 下 Hadoop 认 为 
mapper 的 输出 和 reducer 的 输入 具有 相同 的 键 / 值 类 型 。 


然后 ， 第 11 行 和 第 12 行 告知 Hadoop 如 何 获 得 输入 数据 以 及 如 何 输 出 结 
东 。 最 后 ， 第 13 行 局 动 任务 并 等 竺 任务 结束 。 


现在 已 经 完成 了 一 个 完整 的 Hadoop 任 务 ， 可 以 输入 一 些 数据 运行 一 下 
ye 


在 本 地 运行 

先 来 尝试 在 本 地 运行 Hadoop 任 务 。 在 本 地 运行 时 程序 无 法 并 行 执 行 ， 
也 无 法 容错 ， 不 过 可 以 用 最 小 代价 来 验证 一 下 程序 是 否 运 行 正常 ， 而 
不 需要 将 程序 部 署 到 集群 上 再 进行 验证 。 


我 们 需要 一 些 文本 作为 输入 数据 。input 文件 夹 中 有 两 个 文本 文件 ， 
包括 即将 进行 分 析 的 文本 : 


LambdaArchitecture/WordCount/input/filel.txt 


one potato two potato three potato four 


LambdaArchitecture/WordCount/input/file2.txt 


five potato six potato seven potato more 


虽然 输入 数据 很 短 ， 显 然 不 够 吉 字 节 级 别 ， 不 过 足够 用 来 检验 代码 正 
确 性 。 要 对 这 两 个 文本 文件 进行 词 频 统计 ， 可 以 用 mvn package 命令 
进行 编译 ， 再 调用 下 面 的 命令 在 本 地 启动 Hadoop 实 例 : 


$ 


hadoop jar target/wordcount -1.0-jar-with-dependencies. jar input 
output 


当 Hadoop 运 行 完 成 ， 就 可 以 看 到 一 个 新 文件 夹 output ， 其 包括 两 个 
文件 一 一 _SUCCESS 和 part-r-900009 。_SUCCESS 是 一 个 空 文件 ， 
只 是 告诉 我 们 任务 运行 成 功 。part-r-00000 的 内 容 如 下 : 


我 们 已 经 在 小 数据 规模 的 情况 下 ， 在 本 地 验证 了 任务 的 正确 性 ， 现 在 
需要 在 真正 的 集群 上 运行 这 个 任务 ， 并 处理 更 多 的 输入 。 


小 乔 爱 问 : 
结果 一 定 是 排序 好 的 吗 ? 


你 也 许 注意 到 了 输出 的 结果 是 按键 的 字符 序 进行 排序 的 。Hadoop 
竺 键 值 对 传 给 reducer 前 会 对 键 进 行 排序 ， 这 在 一 些 场景 下 会 有 帮 


但 需要 小 心 。 虽 然 键 值 对 传 给 reducer 前 会 对 键 进行 排序 ， 但 稍 后 
将 学 习 到 ， 默 认 情 况 下 reducer 之 间 是 没有 顺序 的 。partitioner 组 件 
可 以 用 于 控制 这 一 行为 ， 但 本 书 不 再 详 述 。 


在 Amazon EMR 上 运行 


要 在 Amazon Elastic MapReduce 上 运行 一 个 Hadoop 任 务 的 步骤 比较 复 
杂 “。 本 书 不 会 深入 讨论 EMR， 而 仅 介绍 一 些 必 要 的 细节 。 


输入 和 输出 


EMR 默 认 都 是 对 Amazon S37 进行 输入 和 和 输出。 包含 代码 的 JAR 包 以 及 
日 志文 件 也 会 存储 在 S3 上 。 


7 http://aws.amazon.com/s3/ 


首先 ， 创 建 一 个 包含 若干 文本 文件 的 S3 bucket。 由 于 Wikipedia dumps 
XML 文件 而 不 是 文本 文件 ， 所 以 不 太 适 用 。 本 章 的 配套 代码 中 有 一 个 
项 目 ExtractwikiText ， 可 以 从 Wikipedia dump 中 提取 需要 的 文 

本 。 然 后 ， 将 这 些 文本 上 传 到 S3 bucket 中 。 代 码 编译 生成 的 JAR 包 需要 
上 传 到 另 一 个 S3 bucket ° 


向 S3 上 传 大 文件 

如 果 在 上 传 大 文件 时 ， 你 的 宽带 像 我 的 一 样 不 够 * 宽 ”， 可 以 考虑 
创建 一 个 临时 的 Amazon EC2 实 例 ， 利 用 这 个 实例 下 载 Wikipedia 
dump、 所 取 文 本 并 将 文本 上 传 到 SsS3 上 。 坚 无 疑问 ，EC2 和 S3 之 间 
有 足够 的 带宽 。 
创建 一 个 集群 


创建 EMR 的 集群 有 许多 方法 一 一 本 书 使 用 的 是 命令 行 工具 elastic- 


mapreduce : 


$ 


elastic-mapreduce --create --name wordcount --num-instances 11 \ 


--master-instance-type m1.large --slave-instance-type m1.large \ 


--ami-version 3.0.2 --jar s3://pb7con-lambda/wordcount.jar \ 


--arg s3://pb7con-wikipedia/text --arg s3://pb7con-wikipedia/counts 


Created job flow j-2LSRGPBSR79ZV 


上 面 的 命令 创建 了 一 个 名 为 wordcount 的 集群 ， 其 含有 11 个 实例 (1 
主 10 备 ) ， 每 个 实例 都 是 m1.1large RAY, scree 3.0.2 AMI8 上 。 
后 的 几 个 参数 分 别 是 JAR 包 在 S3 上 的 位 置 、 输 入 数据 在 S3 上 的 位 置 和 
输出 数据 在 S3 上 的 位 置 。 


池 


8 http://aws.amazon.com/ec2/instance-types/ 


监控 
创建 集群 时 命令 行 返回 了 一 个 job flow 的 ID， 我 们 可 以 用 这 个 ID 建立 
SSH 连 接 ， 连 接 到 刚才 创建 的 集群 : 


$ 


elastic-mapreduce --jobflow j-2LSRGPBSR79ZV --ssh 


oe r meal cou 命令 行 中 ， 通 过 查看 日 志文 件 可 以 对 任务 的 


$ 


tail -f /mnt/var/log/hadoop/steps/1/syslog 


INFO org.apache.hadoop.mapreduce.Job (main): map 0% reduce 0% 
INFO org.apache.hadoop.mapreduce.Job (main): map 1% reduce 0% 
INFO org.apache.hadoop.mapreduce.Job (main): map 2% reduce 0% 
INFO org.apache.hadoop.mapreduce.Job (main): map 3% reduce 0% 
INFO org.apache.hadoop.mapreduce.Job (main): map 4% reduce 0% 


检查 结果 


在 我 的 测试 中 ， 对 Wikipedia 进 行 词 频 统计 需要 1 小 时 多 一 点 。 运行 完 成 
后 ， 可 以 在 相应 的 S3 bucket 中 看 到 很 多 文件 : 


D 


这 些 文 件 作为 一 个 整体 包含 了 所 有 结果 。 在 每 个 结果 分 块 中 ， 结 果 是 
排序 的 ， 但 整体 上 不 是 排序 的 〈 参 见 “ 小 乔 爱 问 : 结果 一 定 是 排序 好 的 


Aa? ”) o 


现在 已 经 可 以 统计 文本 文件 中 的 词 频 了 ， 不 过 最 好 能 直接 统计 
Wikipedia dump 的 词 频 。 下 面 来 看 看 怎么 做 。 


处 理 XML 


XML 文件 其 实 只 是 对 结构 有 要 求 的 文本 文件 ， 所 以 我 们 很 容易 想到 用 
处 理 文 本 文件 的 方式 来 处 理 XML 文 件 。 但 这 是 行 不 通 的， 原因 是 

T 文件 进行 分 乒 ， 而 这 可 能 会 错误 地 切 分 XML 
han © 


虽然 Hadoop 默 认 没 有 提供 针对 XML 的 分 片 器 ， 但 利用 另 一 个 Apache 项 
目 Mahout9 提供 的 XmlLInputFormat 10 可 以 达到 目的 。 为 了 使 用 
XmlInputFormat ， 需 要 对 driver 进 行 一 些 修改 : 


9 http://mahout.apache.org 


10 


https://github.com/apache/mahout/blob/trunk/integration/src/main/java/org/apache/mahout/text/wiki 
pedia/XmlInputFormat.java 


LambdaArchitecture/WordCountXml/src/main/java/com/paulbutc 
her/WordCount.java 


Line 1 public int 


run(String[] 
args) throws 


Exception { 
- Configuration 


conf = getConf(); 
- conf.set("xmlinput.start", "<text 


")i 


- conf.set("xmlinput.end 


", "</text> 


"); 


5 
- Job job = Job.getInstance(conf, "wordcount"); 
- job.setJarByClass(WordCount.class); 
- job.setInputFormatClass(XmlInputFormat.class); 
- job.setMapperClass (Map 

class); 


10 job.setCombinerClass(Reduce.class); 
- job.setReducerClass(Reduce.class); 
- job.setOutputKeyClass(Text.class); 
- job.setOutputValueClass(IntWritable.class); 
- FileInputFormat.addInputPath(job, new 


Path(args[0])); 
15 FileOutputFormat.setOutputPath(job, new 


Path(args[1])); 
- boolean 


success = job.waitForCompletion(true); 


return 


success ? 0 : 1; 


-} 


在 这 段 代 码 中 ， 使 用 setInputFormatClass() (第 8 行 ) 将 
XmlInputFormat 设置 为 分 上 请 右 ， 并 且 配 置 XxmlLinput.start 和 
xmlinput.end (第 3 行 和 第 4 行 来 告诉 分 片 器 我 们 关注 的 是 哪个 标 


ZX o 
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仔细 查看 xmlinput .start 的 值 ， 你 可 能 会 觉得 有 点 奇怪 一 一 这 个 值 
为 <text ， 看 上 去 是 个 残缺 的 XML 标 签 。XmlInputFormat 对 XML 

并 不 进行 完整 的 解析 ， 而 只 是 匹配 起 始 和 终止 的 模式 。 由 于 <text> 标 
签 中 可 以 设置 属性 ， 所 以 不 能 设置 xmlinput.start 为 <text> ， 而 

需要 设置 成 <text 。 


还 需要 修改 一 下 mapper: 


LambdaArchitecture/WordCountXml/src/main/java/com/paulbutc 
her/WordCount.java 


private final static Pattern 


textPattern = 
Pattern 


.compile("A<text 
.*>(. *)</text>$ 


, Pattern 


.DOTALL); 
public void 


map(Object 
key, Text value, Context 


context ) 
throws 


IOException, InterruptedException { 


String 


text = value.toString(); 
Matcher 


matcher = textPattern.matcher(text); 
if 


(matcher.find()) { 
Iterable 


<String 
> words = new 


Words(matcher.group(1)); 
for 


(String 


word: words) 
context .write(new 


Text(word), one); 


} 


每 个 分 片 由 匹配 xmlLinput.start 和 xmlinput .end 标签 之 间 的 文 
本 (包含 被 匹配 的 标签 ) 构成 。 在 进行 统计 之 前 ， 这 段 代码 还 用 了 一 
点 正则 表达 式 的 技巧 来 去 除 <text></text> 标签 (防止 text 这 个 词 
的 计数 不 准 ) 。 


你 也 许 已 经 注意 到 driver 中 使 用 了 setcombinerclass() (第 10 行 ) 
来 设置 combiner。combiner 是 一 种 优化 手段 ， 使 键 值 对 可 以 在 发 往 
reducer 前 进行 合并 (如 图 8-4 所 示 ) 。 我 进行 了 一 下 测试 ， 程 序 的 运行 
时 间 从 1 个 多 小 时 下 降 到 45 分 钟 。 


("one",1) 
("potato",1) 
("two",1) 
("potato",1) 


("one",1) 
("potato",3) 

("two",1) 
("three",1) 


one potato 
two potato 


three potato 


sii ("one",1) 
("potato",6) 
("two",1) 
("three",1) 


("five",1) ("five",1) 


five potato ("potato",1) ("potato",3) 
six potato ss ("six",1) yl Six]) 
seven potato ("potato",1) ("seven",1) 


— — > Map 
more 


—-—> Combine 


图 8-4 使 用 combiner 


在 我 们 的 场景 中 ，reducer 起 的 作用 和 combiner 一 样 ， 但 在 其 他 场景 中 可 
能 就 需要 单独 的 combiner。 当 设置 了 一 个 combiner 时 ，Hadoop 并 不 能 保 
证 一 定 会 使 用 它 ， 所 以 必须 确定 我 们 的 算法 不 依赖 于 是 否 调用 
combiner， 世 不 依赖 于 调用 了 多 少 次 combiner 。 


小 乔 爱 问 : 
Hadoop 只 有 速度 优势 吗 ? 


一 个 通常 的 误解 是 : Hadoop 的 优势 具有 速度 提升 一 一 比 起 使 用 一 
台 计 算 机 ，Hadoop 可 以 在 多 台 计 算 机 上 更 快 地 处 理 海量 的 数据 ， 
这 的 确 古 个 诱 人 的 优势 。 但 它 还 有 其 他 优势 。 


。 当 涉及 数 百 台 计 算 机 构成 的 集群 和 时， 系统 朋 演 不 再 是 一 个 “要 
少 发 生 的 风险 ”， 而 是 一 种 “很 有 可 能 发 生 的 必然 "”。 如 琳 一 台 
计算 机 的 月 浇 束 会 引发 整个 系统 朋 江 ， 那 么 这 个 系统 基本 上 
没有 实用 价值 。 因 此 ，Hadoop 天 生 就 具有 处 理 错误 和 从 错误 
中 恢复 的 能 力 。 


。 与 上 一 条 相关 ， 我 们 不 仅 要 考虑 将 节操 朋 演 时 正在 处 理 的 任 
务 重 新 执行 ， 还 需要 考虑 当 存 储 发 生 故 障 时 如 何 保证 数据 不 


丢失 。Hadoop 默 认 使 用 Hadoop 分 布 式 文件 系统 (HDFS) , 
pore 的 分 布 式 文件 系统 可 以 在 多 个 节点 之 间 元 余 


。 涉 太吉 字 市 级 别 以 上 的 数据 时 ， 束 不 能 将 所 有 中 间 数 据 或 结 
果 全 部 存放 在 内 存 中 。Hadoop 在 处 理 过 程 中 将 键 值 对 存储 在 
HDES 中 ， 这 样 束 可 以 不 受 内 存 限制 ， 完 成 数据 量 非常 大 的 任 
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综 上 所 述 ， 这 些 优 点 都 是 革命 性 的 。 本 书 只 在 本 章 中 使 用 了 完整 

的 Wikipedia dump 作 为 词 频 统 计 的 输入 数据 ， 这 并 不 是 巧合 一 一 

MapReduce 征 本 书 介绍 的 唯一 能 处 理 这 个 量 级 数据 的 技术 。 
第 一 天 总 结 


第 一 天 的 学 习 结束 了 。 第 二 天 我 们 将 学 习 如 何 用 Hadoop 实 现 Lambda 碎 
构 的 批 处 理 层 。 


第 一 天 我 们 学 到 了 什么 
将 一 个 问题 拆 分 成 一 个 映射 操作 和 一 个 化 简 操 作 ， 使 其 更 容易 被 并 行 
化 。MapReduce， 在 本 章 中 使 用 的 这 个 术语 特 指 一 个 使 用 多 人 台 计 算 机 
的 、 由 映射 操作 和 化 简 操 作 构成 的 、 高 效 且 容错 的 分 布 式 系统 。 
Hadoop 就 是 一 个 MapReduce 系 统 ， 其 可 以 做 到 : 

。 将 输入 分 配给 多 个 mapper， 每 个 mapper 都 会 产生 一 些 键 值 对 ; 


。 这 些 键 值 对 会 被 发 送 给 reducer， 产 生 最 终 的 输出 (通常 也 是 一 系 
列 键 值 对 ) ; 


。 每 个 reducer 对 应 的 键 是 不 同 的 ， 因 此 具有 相同 键 的 键 值 对 都 会 发 
送 给 同一 个 reducer 进 行 处 理 。 


第 一 天 目 习 
查找 


。 阅读 Hadoop streaming API 的 文档 ， 通 过 Hadoop streaming PJ LE 
其 他 语言 创建 MapReduce 任 务 ， 比 如 Ruby、Python 或 Perl 。 


。 阅读 Hadoop pipes API 的 文档 ， 通 过 Hadoop pipes 可 以 用 C++ 创建 
MapReduce 任 务 。 


。 有 很 多 基于 Hadoop Java API 的 库 ， 利 用 它们 可 以 很 容易 地 创建 复 
杂 的 MapReduce 任 务 。 比 如 Cascading、Cascalog 和 Scalding。 


实践 


。 在 词 频 统 计 程 序 运行 时 ， 尝 试 干掉 集群 中 的 一 台 计 算 机 (不 要 干 
掉 主 节 点 一 Hadoop 不 能 处 理 主 节点 的 月 溃 ) 。 检 查 整 个 过 程 中 
的 日 志 ， 看 看 Hadoop 如 何 重 试 故障 节点 上 的 任务 。 检 查 最 终结 
果 ， 其 正确 性 不 应 受到 故障 的 影响 。 


。 现在 的 词 频 统 计 程 序 能 很 好 地 完成 本 职工 作 ， 但 如 果 想 知 
道 “Wikipedia 最 常用 的 100 个 词 是 什么 ? ”， 就 需要 改进 一 下 程序 。 
利用 二 级 排序 (Secondary Sort) 可 以 获取 全 局 排序 的 结果 (网 络 
上 有 许多 文章 介绍 如 何 实现 ) 。 


。 Top ten 模 式 是 解决 “Wikipedia 最 常用 的 词 * 这 个 问题 的 另 一 种 方 
法 。 利 用 这 个 模式 尝试 解决 一 下 。 


。 有 些 问题 无 法 用 单个 MapReduce 任 务 来 解决 一 一 经 澡 需 要 串联 多 个 
任务 ， 前 一 个 任务 的 输出 是 后 一 个 任务 的 输入 。 以 PageRank 算 法 
为 例 ， 创 建 一 个 Hadoop 程 序 来 计算 每 个 Wikipedia 页 面 的 page 
rank。 多 少 个 迭代 后 结果 才能 达到 稳定 ? 


8.3 BOK: 批 处 理 层 


昨天 学 习 了 如 何 用 Hadoop 在 一 个 集群 中 进行 并 行 计算 。MapReduce 适 
用 于 解决 各 种 各 样 的 问题 ， 今 天 我 们 将 学 习 在 Lambda 染 构 中 如 何 使 用 
MapReduce ° 


不 过 ， 在 正式 学 习 之 前 先 来 了 解 一 下 Lambda 染 构 要 解决 的 主要 问题 
传统 数据 系统 有 什么 缺陷 ? 


传统 数据 系统 的 缺陷 


数据 系统 不 是 一 个 痢 概 念 一 一 从 计算 机 发 明之 初 ， 数 据 库 就 一 直人 负责 
存储 和 处 理 数 据 。 传 统 数据 库 适 用 于 一 台 计 算 机 ， 但 随 着 处 理 的 数据 
量 越 来 越 大 ， 数 据 库 束 必须 使 用 多 台 计 算 机 。 


扩展 性 


利用 某 些 技术 〈 比 如 复制 、 分 片 等 ) 可 以 将 传统 数据 库 扩展 到 多 人 台 计 
算 机 上 ， 但 随 着 计算 机 数量 和 查询 数量 的 增加 ， 应 用 这 种 方案 会 变 得 
越 来 越 困 难 。 超 过 一 定 程度 ， 增 加 计算 机 资源 将 无 法 继续 改善 性 能 。 


维护 成 本 


维护 一 个 路 多 人 台 计 算 机 的 数据 库 的 成 本 是 比较 高 的 。 如 果 要 求 维护 时 
不 能 停机 ， 那 么 维护 将 变 得 更 加 困难 一 一 比如 对 数据 库 进 行 重 新 分 
片 。 随 看 数据 量 和 查询 数量 的 增加 ， 容 和 错 、 备 份 、 确 你 数据 一 致 性 等 
工作 的 难度 都 会 呈 几 何 级 数 增 长 。 


复杂 度 


复制 和 分 片 通常 要 求 应 用 层面 提供 一 些 文 持 一 一 应 用 需要 知道 将 查询 
发 给 哪 一 台 计 算 机 ， 以 及 应 该 更 新 哪 一 个 数据 分 片 (每 个 更 新 所 对 应 
的 分 片 通常 不 一 样 ， 规 则 也 比较 复杂 ) 。 程 序 员 习 惯 使 用 的 许多 特性 
(例如 对 事务 的 支持 ) 在 数据 库 分 片 后 都 无 法 使 用 。 也 就 是 说 程序 员 
必须 显 式 处 理 失败 的 事务 并 进行 重 试 。 这 些 都 增加 了 使 用 传统 数据 库 
的 复杂 度 ， 也 增加 了 出 错 的 可 能 。 


人 为 错误 


讨论 容错 性 时 很 容易 侦 忽 略 的 就是 人 为 错误 。 许 多 数据 故障 不 十 由 于 
存储 故障 引起 的 ， 而 是 由 于 管理 员 或 开发 人 员 的 人 为 错误 引起 的 。 如 
条 运气 比较 好 ， 这 类 错误 可 以 要 快速 定位 ， 并 通过 还 原 备 份 来 恢复 ， 
但 不 是 所 有 错误 都 可 以 轻易 解决 。 设 想 一 下 ， 如 果 有 一 个 隐藏 了 几 周 
的 数据 错误 突然 引发 了 大 面积 的 前 息 ， 我 们 又 该 如 何 修复 数据 库 呢 ? 


有 时 ， 我 们 可 以 分 析 氏 误 的 影响 范围 ， 并 写 一 个 临时 的 脚本 来 修复 数 
据 库 。 有 时 ， 我 们 可 以 通过 重 放 数 据 库 日 志 〈 假 设 数据 库 日 志 记 录 了 
所 有 必要 的 信息 ) 来 回 滚 这 个 错误 。 有 时 ， 我 们 只 能 承认 运气 不 佳 。 
每 次 都 依赖 运气 可 不 是 一 个 好 的 长 久之 计 。 


报表 与 分 析 


传统 数据 库 擅 长 于 运营 支持 ， 即 处 理 日 常 的 业务 数据 。 如 果 要 处 理 历 
a 比如 生成 报表 或 进行 数据 分 机 ， 传 统 数 据 库 的 效率 残 比较 低 


典型 的 解决 方案 是 在 独立 的 数据 仓库 中 用 另 一 种 格式 来 维护 历史 数 

据 。 数 据 从 业务 数据 库 回 数据 仓库 的 迁移 过 程 就 是 著名 的 萃取 
(extract) 、 转 置 (transform) 、 加 载 (load) (简称 ETL) 。 这 种 方 

案 不 仅 复 杂 ， 而 且 需 要 准确 预测 将 来 我 们 需要 什么 信息 。 有 时 会 碰 到 

这 种 情况 : 由 于 缺乏 必要 的 信息 或 者 信息 格式 不 对 ， 无 法 生成 所 希 报 

表 或 进行 某 些 分 析 。 

现在 学 习 Lambda 架 构 如 何 解决 这 些 问 题 。Lambda 织 构 不 仅 能 处 理 现 代 

应 用 中 的 大 量 数据 ， 而 且 其 使 用 也 比较 简单 ， 可 以 从 技术 性 故障 和 人 

为 故障 中 恢复 ， 并 维护 完整 的 历史 数据 ， 这 样 就 可 以 在 未 来 生成 任何 

想 要 的 报表 ， 进 行 任何 想 要 的 分 析 。 


永恒 的 真相 
我 们 可 以 将 信息 分 为 两 天 


原始 数据 及 ( 源 于 原始 数据 的 ) 衍生 信 


以 Wikipedia 的 页 面 为 例 ，Wikipedia 的 页 面 是 被 持续 更 新 的 ， 也 就 是 说 
今天 看 到 的 某 个 页 面 和 昨天 看 到 的 同一 个 页 面 的 内 容 可 能 是 不 同 的 。 
但 是 在 Wikipedia 的 结构 中 ， 页 面 并 不 是 原始 数据 一 一 一 个 页 面 是 由 许 
多 页 献 者 的 大 干 次 编辑 记录 构成 的 。 这 些 编辑 记录 才 是 原始 数据 ， 而 
页 面 是 其 衍生 信息 。 


另外 ， 虽 然 页 面 每 天 都 在 变 ， 但 编辑 记录 是 不 变 的 。 一 旦 贡献 者 进行 

了 一 次 编辑 ， 这 个 编辑 记录 就 不 会 改变 了 。 后 续 的 编辑 记录 可 能 影响 

Be eve 也 会 影响 到 页 面 的 内 容 ， 但 编辑 记录 本 
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在 任何 数据 系统 中 信息 都 可 以 这 样 分 类 。 银 行 账户 的 余额 是 衍生 信 
已， 而 账户 的 收入 和 文 出 是 原始 数据 :Facebook 的 friend graph 是 衍生 信 
县 ， 而 添加 好 友和 删除 好 友 的 事件 是 原始 数据 。 与 Wikipedia 的 编辑 记 


Say 收入 记录 、 文 出 记录 、 添 加 好 友 事 件 、 删 除 好 友 事 件 都 是 不 
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原始 数据 是 永恒 的 真相 ， 也 是 Lambda 架 构 的 基础 。 下 一 节 我 们 将 学 习 
其 如 何 利 用 原始 数据 来 解决 传统 数据 系统 健 到 的 问题 。 


小 乔 爱 问 : 
原始 数据 真 的 都 是 不 变 的 ? 


乍 看 上 去 ， 有 一 些 原 始 数据 不 大 可 能 是 永远 不 变 的 。 比 如 用 户 的 
家 庭 住 址 ? 如 采用 户 搬 家 了 呢 ? 


这 类 数据 可 以 是 不 变 的 我 们 只 需要 添加 一 个 时 间 戳 。 以 前 我 
们 的 记录 是 Charlotte lives at 22 Acacia Avenue， 而 添加 时 间 惟 后 的 
记录 是 On March 1, 1982, Charlotte lived at 22 Acacia Avenue ° jX 
样 ， 无 论 将 来 发 生 什 么 ， 原 始 数据 仍然 是 不 变 的。 


数据 还 是 原始 的 好 
建议 大 家 现在 案 中 注意 力 。 如 前 所 述 ， 不 变性 和 并 行 计算 是 天 作 之 
美好 的 设想 


现在 来 做 一 个 简短 的 设想 。 假 如 有 一 个 无 限 快 的 计算 机 ， 可 以 在 瞬间 
处 理 TB 级别 的 数据 。 那 么 只 需要 保存 原始 数据 而 不 需要 保存 衍生 信 
轧 ， 因 为 在 需要 的 时 候 可 以 由 原始 数据 推导 出 衍生 信息 。 


在 这 种 情况 下 ， 由 于 数据 是 不 变 的 ， 存 储 数 据 的 成 本 大 幅 下 降 ， 束 大 
大 降低 了 传统 数据 库 系 统 的 复杂 度 。 和 存储 介质 只 需要 让 我 们 附加 新 的 
数据 即 可 。 由 于 数据 被 存储 后 束 不 可 变 了 ， 那 就 不 再 需要 那些 精密 的 
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更 进一步 ， 当 数据 不 可 变 时 ， 多 个 线程 可 以 并 行 地 访问 数据 ， 而 不 用 
担心 相互 之 间 的 作用 。 我 们 可 以 对 数据 进行 复制 ， 再 对 副本 进行 操 
所 以 在 集群 中 分 布地 处 理 数 据 束 变 得 非常 
谷 o 


小 乔 爱 问 : 
删除 数据 该 怎么 处 理 ? 


有 些 情况 下 ， 我 们 有 足够 的 理由 删除 原始 数据 。 原 因 可 能 是 效 据 
已 经 不 再 使 用 了 ， 也 可 能 是 审计 或 安全 的 因素 〈 比 如， 数据 保护 
法 规 可 能 要 求 数据 存在 一 段 时 间 后 不 再 继续 保存 ) 。 


这 并 不 意味 着 我 们 之 前 说 错 了 。 尽 管 可 以 选择 遗 起 那些 要 被 删除 
的 原始 数据 ， 它 们 仍然 是 不 变 的 。 


当然 ， 设 想 终归 是 设想 ， 不 过 见识 了 MapReduce 的 威力 之 后 ， 你 会 
惊讶 于 我 们 是 如 此 接近 理想 。 


设想 ULF) 变 为 现实 


如 采 能 够 准确 预测 出 未 来 会 对 原始 数据 进行 怎样 的 查询 ， 束 可 以 预计 
算出 一 个 批 处 理 视 图 ， 这 个 视图 包含 这 些 查询 将 要 返回 的 衍生 信息 ， 
或 者 那些 可 以 计算 出 这 些 衍 生 信息 的 数据 。Lambda 架 构 的 批 处 理 层 束 
征用 来 计算 这 些 批 处 理 视图 的 。 


批 处 理 视图 可 以 包含 衍生 信息 ， 比 如 : 假设 要 用 一 系列 编辑 记录 来 构 
建 Wikipedia 的 页 面 一 一 批 处 理 视 图 将 只 包含 从 页 面 的 编辑 记录 中 计算 
得 来 的 页 面 内 容 。 


批 处 理 视 图 也 可 以 包含 可 以 计算 出 衍生 信息 的 数据 ， 这 类 情况 会 稍微 
复杂 一 些 ， 这 也 是 今天 的 讨论 重点 。 我 们 将 用 Hadoop 来 构造 批 处 理 视 
图 ， 通 过 批 处 理 视 图 可 以 查询 某 个 Wikipedia 页 献 者 在 某 一 段 时 间 内 进 
行 了 多 少 次 编辑 。 


Wikipedia 贡 献 者 


我 们 理想 中 的 查询 应 该 是 这 样 的 : “Fred Bloggs 在 2012 年 6 月 5 日 下 午 
3:15 到 2012 年 6 月 7 日 上 午 10:45 之 间 进 行 了 多 少 次 编辑 ? ”为 了 达到 这 个 
目的 ， 就 需要 维护 每 个 编辑 记录 的 编辑 时 间 并 进行 索引 。 如 果 这 种 查 
询 是 必要 的 ， 那 我 们 的 成 本 会 比较 高 ， 不 过 实际 上 不 需要 如 此 细 粒 度 
的 查询 一 按 天 来 维护 数据 已 经 绰绰有余 了 。 


所 以 批 处 理 视 图 整 会 按 天 进行 统计 ， 如 图 8-5 所 示 。 


如 果 只 需要 查询 几 天 的 状况 ， 那 现在 已 经 满足 要 求 了 ， 但 如 果 要 查询 
几 个 月 的 状况 ， 就 需要 合并 许多 值 (如 采 需 要 一 年 的 数据 ， 束 需要 统 
计 365 天 的 贡献 次 数 ) 。 如 果 能 同时 按 天 和 按 月 维护 数据 ， 就 可 以 减少 
计算 工作 量 ， 如 图 8-6 所 示 。 

Fred 的 贡献 Fred 的 贡献 次 数 
2012-02-26 15:04:16 
2012-02-26 16:23:43 


2012-02-26: 3 

2012-02-26 18:59:03 
2012-02-27: 1 

2012-02-27 12:56:32 
- >2012-02-28: 2 

2012-02-28 17:09:12 
2012-02-28 18:54:28 2012-03-02: 1 
2012-03-05: 1 


2012-03-02 12:00:36 
2012-03-05 10:34:19 


图 8-5” 按 天 统计 的 批 处 理 视图 
Fred 的 贡献 Fred 的 贡献 次 数 
2012-02-26 15:04:16 


2012-02-26 16:23:43 SUE EDS 
2012-02-27: 1 
2012-02-26 18:59:03 e 
2012-02-27 12:56:32 ep 
2012-02-28 17:09:12 a a] 
2012-02-28 18:54:28 全 全 


2012-03-05 10:34:19 
图 8-6 按 天 和 按 月 统计 的 批 处 理 视图 


计算 一 年 中 某 用 户 的 页 献 数 时 ， 计 算 次 数 从 365 次 降 到 了 12 次 。 通 过 增 
加 或 删 减 以 天 为 单位 的 数据 ， 束 可 以 处 理 开 始 时 间或 结束 时 间 不 十 整 
月 的 查询 时 间 区 段 ， 如 图 8-7 所 示 。 


查询 时 间 区 段 一 一 > 


按 月 统计 的 数据 一 II 一 


按 天 统计 的 数据 WT 


减 加 
图 8-7 ”查询 某 用 户 在 一 个 时 间 区 段 内 的 贡献 数 
贡献 者 日 志 


遗憾 的 是 ， 我 们 无 法 获得 Wikipedia 页 献 者 的 feed。 我 们 希望 feed 是 如 下 
格式 的 : 


2012-09-01T14:18:13Z 123456789 1234 Fred Bloggs 
2012-09-01T14:18:15Z 123456790 54321 John Doe 
2012-09-01T14:18:16Z 123456791 6789 Paul Butcher 


一 列 是 时 间 惟 ， 第 二 列 是 页 献 记 录 的 标识 符 ， 第 三 列 是 页 献 者 的 用 
户 ID， 第 四 列 是 贡献 卷 的 用 户 名 。 


Wikipedia 虽 然 没有 提供 这 样 的 feed， 却 提供 了 包含 全 部 历史 数据 的 周期 
性 的 XML dump! ae latest-stub-meta- 
history) ° 


1 http://dumps.wikimedia.org/enwiki 


本 章 的 配套 代码 中 有 一 个 项 目 ExtractWikiContributors， 其 可 以 将 一 个 
dump 转 化 为 上 述 feed 格 式 的 日 志文 件 。 


下 一 节 我 们 将 创建 一 个 Hadoop 任 务 ， 接 受 这 些 日 志文 件 并 生成 批 处 理 
视图 需要 的 数据 。 


计算 贡献 数 


这 个 Hadoop 任 务 仍然 包括 一 个 mapper 和 一 个 reducer。mapper 非 常 简 
单 ， 只 是 解析 页 献 者 日 志 中 的 一 行 ， 并 产生 一 个 键 值 对 ， 其 键 是 页 献 
者 的 用 户 ID， 其 值 是 页 献 记 录 的 时 间 稚 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/p 
aulbutcher/WikipediaContributors.java 


public static class 

Map extends 

Mapper<Object 

, Text, IntWritable, Longwritable> { 
public void 

map(Object 

key, Text value, Context 


context ) 
throws 


IOException, InterruptedException { 


Contribution contribution = new 


Contribution(value.toString()); 
context .write(new 


IntWritable(contribution.contributorId), 
new 


LongwWritable(contribution.timestamp) ); 


} 


其 中 大 部 分 工作 都 由 Contribution 类 完成 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/p 
aulbutcher/Contribution.java 


Line 1 class 


Contribution { 
- static final Pattern 


pattern = Pattern 


.compile("A(fA\\s]*) (\\d*) (\\d*) (.*)$") 


- static final 


DateTimeFormatter isoFormat = 
ISODateTimeFormat .dateTimeNoMillis(); 


5 public long 


timestamp; 
- public int 


id; 
- public int 


contributorId; 
- public String 


username, 


10 public 
Contribution(String 


line) { 
- Matcher 


matcher = pattern.matcher(line); 
- if 


(matcher.find()) { 
- timestamp = 
isoFormat.parseDateTime(matcher.group(1)).getMillis(); 
- id = Integer 


.parseInt(matcher.group(2)); 
15 contributorId = Integer 


.parseInt(matcher.group(3)); 
- username = matcher.group(4); 


有 很 多 种 方法 可 以 解析 日 志文 件 的 一 行 一 一 本 例 使 用 的 是 正则 表达 式 
(第 2 行 )。 如 果 其 匹配 ， 则 使 用 Joda-Time 库 ?的 
ISODateTimeFormat 来 解析 时 间 惟 ， 并 将 时 间 转 换 为 长 整数 (第 13 
行 ) ， 这 个 长 整数 是 自 1970 年 1 月 1 日 到 该 时 间 所 经 过 的 毫秒 数 。 贡 献 
aa 这 一 行 剩 余 的 部 分 是 贡献 者 的 用 


12 http://www.joda.org/joda-time/ 


reducer 则 会 负责 更 多 的 工作 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/p 
aulbutcher/WikipediaContributors.java 


Line 1 public static class 


Reduce 
- extends 


Reducer<IntWritable, LongWritable, IntWritable, Text> { 
- static 


DateTimeFormatter dayFormat = ISODateTimeFormat.yearMonthDay( ); 
- static 


DateTimeFormatter monthFormat = ISODateTimeFormat.yearMonth(); 
5 
- public void 


reduce(IntWritable key, Iterable 


<Longwritable> values, 
- Context 


context) throws 


IOException, InterruptedException { 
- HashMap 


<DateTime, Integer 
> days = new HashMap 


<DateTime, Integer 


>(); 
- HashMap 


<DateTime, Integer 
> months = new HashMap 


<DateTime, Integer 


>(); 
10 


for 


CEOngwrataves value: values) { 
DateTime timestamp = new 


paket Met ade get()); 
DateTime day = timestamp.withTimeAtStartoOfDay(); 
DateTime month = day.withDayOfMonth(1); 
- incrementCount (days, day); 
15 incrementCount(months, month); 


- for 
(Entry<DateTime, Integer 
> ERTEN days.entrySet()) 
context.write(key, formatEntry(entry, dayFormat)); 


- for 


(Entry<DateTime, Integer 


> entry: months.entrySet()) 
20 context.write(key, formatEntry(entry, monthFormat)); 


这 上 段 代码 首先 为 每 个 贡献 者 建立 两 个 HashMap: days (#847) 和 
months (38947) 。 然 后 遍历 与 这 个 贡献 者 相关 的 时 间 礁 (values 
是 时 间 戳 列表 ) ， 并 用 Joda-Time 库 的 辅助 方法 
withTimeAtStartOfDay() 和 wit hDayOfMonth ( ) KEEN ERER 
为 当天 的 午夜 时 间 和 当月 第 一 天 的 午夜 时 间 (分 别 是 第 12 行 和 第 13 
行 ) 。 接 下 来 可 以 用 一 个 简单 的 辅助 方法 对 days 和 months 的 相关 元 
素 进行 递增 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/p 
aulbutcher/WikipediaContributors.java 


private void 


incrementCount (HashMap 


<DateTime, Integer 


> counts, DateTime key) { 
Integer 


currentCount = counts.get(key); 
if 
(currentCount == null) 


counts.put(key, 1); 
else 


counts.put(key, currentCount + 1); 


i= 


Ba 4 PN “SHashMapt4) 5c 5%, IP Amap al DAB 〈 至 少 有 一 
条 贡献 记录 的 贡献 者 ) 每 天 和 每 月 的 贡献 数 (第 17 到 20 行 ) ° 


这 里 有 一 点 需要 说 明 ，Hadoop 任 务 的 输出 是 键 值 对 的 集合 ， 但 本 例 中 
需要 输出 三 个 值 一 一 贡献 者 的 用 户 ID、 日 期 〈 某 月 或 某 天 ) 和 一 个 统 
计 值 。 可 以 通过 定义 一 个 复合 值 来 达到 目的 ， 键 值 对 的 键 是 页 献 者 的 
用 户 ID， 而 值 是 日 期 和 统计 值 构成 的 复合 值 。 不 过 由 于 本 例 非常 从 
单 ， 可 以 简单 地 用 一 个 字符 串 作 为 值 ， 这 个 字符 串 是 通过 
formatEntry() 定义 的 : 


LambdaArchitecture/WikiContributorsBatch/src/main/java/com/p 
aulbutcher/WikipediaContributors.java 


private 


Text formatEntry(Entry<DateTime, Integer 


> entry, 


DateTimeFormatter formatter) { 
return new 


Text(formatter.print(entry.getKey()) + "\t 


" + entry.getValue()) 


下 面 是 这 个 任务 的 一 部 分 输出 : 


463 2001-11-24 工 
463 2002-02-14 工 
463 2001-11-26 6 


463 2001-10-01 1 
463 2002-02 1 
463 2001-10 1 
463 2001-11 7 


这 束 古 我 们 想 要 的 结果 ， 但 输出 十 一 堆 文本 文件 ， 不 古 很 方便 。 下 一 
焉 我 们 将 学 习 服 务 层 ， 其 可 以 对 批 处 理 层 的 输出 进行 索引 和 合并 。 


小 乔 爱 问 : 
是 否 可 以 增 量 地 生成 批 处 理 视 图 ? 


到 目前 为 止 我 们 每 次 都 是 重新 生成 整个 批 处 理 视 图 。 这 是 可 行 
的 ， 但 也 做 了 一 些 不 必要 的 工作 一 一 为 什么 不 用 上 次 更 新 后 的 新 
数据 增 量 地 更 新 批 处 理 视 图 呢 ? 


没有 什么 能 阻止 我 们 这 么 做 ， 而 且 这 是 一 个 非常 有 效 的 优化 手 
段 。 不 过 和 需要 提醒 的 是 ， 我 们 不 能 严重 依赖 于 增 量 更 新 
Lambda 架 构 的 威力 大 部 分 来 自 于 我 们 可 以 在 必要 时 进行 重建 。 所 
以 只 要 值得 优化 殉 可 以 去 实现 一 个 增 量 算法 ， 不 过 增 量 算 法 永远 
不 能 代替 重建 视图 。 


完成 拼图 
te a e 。 所 以 还 需要 完成 Lambda 框 架 的 


男 一 部 分 一 服务 层 


服务 层 


我 们 需要 对 生成 的 批 处 理 视图 进行 索引 ， 这 样 束 可 以 对 索引 进行 查询 
了 。 男 外 ， 还 需要 一 个 地 方 来 存放 程序 逻辑 (说 明 一 个 查询 该 如 何 合 
并 批 处 理 视 图 的 逻辑 ) 。 这 就 是 服务 层 的 任务 ， 如 图 8-8 所 示 。 


查询 
Web 服 务 器 
结果 


图 8-8 批 处 理 视图 和 服务 层 


由 于 服务 层 与 本 书 主题 关联 度 不 大 ， 对 服务 层 的 实现 还 是 留 作家 庭 作 
业 。 在 此 只 介绍 其 中 的 一 部 分 一 一 数据 库 。 


虽然 我 们 可 以 利用 传统 数据 库 来 构建 服务 层 ， 不 过 其 访问 数据 库 的 模 
式 与 传统 应 用 不 同 。 服 务 层 不 需要 进行 随机 写 一 一 只 需要 在 更 新 批 处 
理 视 图 时 批量 更 新 数据 库 即 可 。 


有 一 类 数据 库 为 了 这 种 访问 模式 而 进行 了 优化 ， 其 中 最 有 名 的 是 
ElephantDB 和 Voldemortl4 ° 


13 https://github.com/nathanmarz/elephantdb 


14 http://www.project-voldemort.com/voldemort/ 


Bae 


至 此 ， 利 用 批 处 理 层 和 服务 层 ， 我 们 得 到 了 一 个 数据 系统 ， 可 以 用 于 
解决 今天 一 开始 提出 的 问题 ， 如 图 8-9 所 示 。 


批 处 理 层 会 不 断 循环 运行 ， 从 原始 数据 重新 生成 批 处 理 视 图 。 每 一 个 
批 处 理 完成 时 ， 服 务 层 都 会 更 新 数据 库 。 


由 于 只 处 理 不 可 变 的 原始 数据 ， 批 处 理 层 可 以 轻松 地 被 并 行 化 。 原 始 
ee ten ei 在 可 接受 的 时 间 内 融 可 以 处 理 TB 级 别 


原始 数据 的 不 变性 也 使 得 系统 可 以 承受 住 技术 性 故障 和 人 为 故障 。 一 
方面 ， 原 始 数据 更 容易 进行 备份 ， 另 一 方面 ， 如 果 存 在 bug， 最 坏 的 情 
ee 图 是 暂时 错误 的 只 需要 修复 该 pug 并 重新 计算 批 处 
理 视 Ay o 


ja 


批 处 理 视图 


图 8-9 数据 系统 


而 且 ， 由 于 保存 了 所 有 原始 数据 ， 束 可 以 在 将 来 生成 任何 想 要 的 报表 
或 进行 任何 分 析 。 


不 过 存在 着 一 个 严重 的 问题 一 一 延迟 。 如 采 批 处 理 层 需要 一 个 小 时 的 
运行 时 间 ， 那 批 处 理 视图 就 比 最 新 的 数据 至 少 延 迟 1 小 时 。 明 天 我 们 会 
学 习 加 速 层 ， 来 解决 这 个 问题 。 


第 二 天 总 结 


第 二 天 的 学 习 结 束 了 。 第 三 天 我 们 将 学 习 加 速 层 ， 并 完成 整个 Lambda 


第 二 天 我 们 学 到 了 什么 

言 轧 可 以 分 为 原始 数据 和 衍生 信息 。 原 始 数据 是 永恒 的 真相 ， 而 且 十 
不 变 的。 基于 这 个 特性 ， 利 用 Lambda 架 构 的 批 处 理 层 ， 可 以 创建 具有 
以 下 特性 的 系统 : 

高 度 并 行 化 ， 可 以 处 理 TB 级 别 的 数据 ; 

简单 ， 容 易 创 建 且 不 易 出 错 ; 

对 技术 性 故障 和 人 为 故障 进行 容错 

a a 


批 处 理 层 最 大 的 缺点 在 于 其 有 延迟 ，Lambda 架 构 利用 加 速 层 来 解决 这 


一 问题 。 
第 二 天 自习 
查找 
© 本 章 中 介绍 的 方法 并 不 是 利用 Hadoop 建 立 数据 系统 的 唯一 方法 
一 一 其 他 的 方法 有 HBase、Pig 和 Hive。 这 三 种 方法 更 类 似 于 传统 
数据 系统 。 选 择 其 中 一 种 ， 与 Lambda 架 构 的 批 处 理 层 进行 比较 。 
每 种 方法 分 别 适 合 什 么 场景 ? 
实践 
。 创建 一 个 服务 层 ， 来 完善 今天 所 学 习 的 系统 。 这 个 服务 层 能 够 接 
受 批 处 理 层 的 输出 ， 保 存 到 数据 库 中 ， 并 可 以 查询 一 段 时 间 内 某 
ER 可 以 使 用 传统 数据 库 或 ElephantDB 来 建立 服务 
yan fo) 


扩展 上 面 的 例子 ， 增 量 生 成 批 处 理 视图 一 一 为 了 达到 目的 ， 
Hadoop 集 群 需要 访问 服务 层 的 数据 库 。 这 个 方案 效率 如 何 ? 花费 


的 代价 是 否 值得 ? 增 量 生成 批 处 理 视图 适用 于 何 种 应 用 ? 不 适用 
于 何 种 应 用 ? 

84 第 三 天 : MBS 

在 昨天 的 学 习 中 ， 我 们 了 解 到 Lambda 架 构 的 批 处 理 层 能 解决 传统 数据 


系统 碰 到 的 者 干 问题 ， 但 代价 是 较 高 的 延迟 。 加 速 层 束 是 用 来 解决 这 
个 问题 的 。 图 8-10 展 示 了 加 速 层 与 批 处 理 层 如 何 协同 工作 。 


批 处 理 视图 
合并 


图 8-10 Lambda 架 构 


fle cate Fa TALE BAS BNR CHE P,P BE a BT 
以 进行 处 理 ， 男 一 方面 将 其 传 给 加 速 层 。 加 速 层 会 生成 实时 视图 ， 实 
时 视图 会 和 批 处 理 视图 合并 来 满足 对 最 新 数据 的 碍 询 。 


实时 视图 仅 包 含 最 后 一 次 生成 批 处 理 视图 后 产生 的 原始 数据 所 对 应 的 
衍生 信息 ， 当 这 部 分 数据 被 批 处 理 层 处 理 后 ， 该 实时 视图 将 被 弃 用 。 


现在 我 们 用 Stormh 来 生成 加 速 层 。 


1> http://storm.incubator.apache.org 


设计 加 速 层 


不 同 的 应 用 对 实时 性 的 要 求 不 同一 一 有 一 些 要 求 新 数据 在 秒 级 别 可 
用 ， 有 一 些 要 求 新 数据 在 毫秒 级 别 可 用 。 无 论 你 的 应 用 有 什么 性 能 要 
求 ， 只 使 用 批 处 理 层 很 可 能 无 法 满足 。 


由 于 加 速 层 要 求 使 用 增 量 算法 ， 因 此 比 起 构建 批 处 理 层 ， 构 建 加 速 层 
本 质 上 要 更 困难 。 这 意味 着 加 速 层 不 能 只 处 理 原始 数据 ， 也 就 享受 不 
到 原始 数据 的 完美 特性 了 。 我 们 必须 重新 面 对 传统 数据 库 的 特性 : 随 
机 写 、 复 杂 的 锁 机 制 和 事务 机 制 等 。 


从 好 的 方面 来 看 ， 加 速 层 只 需要 处 理 一 部 分 数据 ， 就 是 那 部 分 还 未 被 
批 处 理 层 处 理 的 数据 (通常 是 几 个 小 时 的 数据 ) 。 一 旦 批 处 理 层 赶 上 
进度 ， 旧 的 数据 就 会 从 加 速 层 移 除 。 


同步 还 是 异步 ? 
最 容易 想到 的 构建 加 速 层 的 方法 就是 模仿 传统 的 同步 数据 库 。 其 实 可 


以 将 传统 数据 库 看 作 是 Lambda 架 构 的 一 种 退化 特例 (不 使 用 批 处 理 
层 ) ， 如 图 8-11 所 示 。 


数据 库 


图 8-11 传统 数据 库 


在 这 种 模型 中 ， 客 户 端 直接 和 数据 库 通 信 ， 并 在 数据 库 进行 更 新 操作 
时 进行 月 塞 。 这 种 模型 非常 合理 ， 在 某 些 场景 下 这 是 唯一 能 满足 特定 
需求 的 方法 。 不 过 在 男 一 些 场景 中 ， 异 步 染 构 更 合适 一 些 ， 如 图 8-12 所 
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图 8-12 ”传统 数据 库 的 异步 架构 


在 这 种 模型 中 ， 客 户 端 将 更 新 操作 添加 到 队列 中 《可 以 用 Kafkal 或 
Kestrel’? 等 实现 队列 ) ， 这 一 步骤 是 无 阻塞 的 。 流 处 理 夯 将 串 行 地 处 
理 这 些 更 新 操作 并 对 数据 库 进 行 更 新 。 


16 http://kafka.apache.org 


17 http://robey.github.io/kestrel/ 


用 队列 将 客户 端 和 数据 库 进 行 解 辜 ， 会 使 更 新 操作 之 间 的 交互 变 得 更 
加 复杂 。 不 过 ， 根 据 应 用 的 特性 ， 如 果 可 以 接受 异步 的 方案 ， 也 会 获 
得 非常 显著 的 好 处 : 


。 客户 问 不 会 蛆 塞 ， 所 以 少量 的 客户 器 就 可 以 处 理 大 量 的 数据 ， 从 
而 提高 了 吞吐 量 ; 


。 业务 压力 激增 会 导致 客户 端 或 数据 库 超载 ， 也 会 导致 同步 系统 超 
时 或 丢失 一 些 更 新 。 而 异步 系统 则 不 同 ， 只 需要 将 未 处 理 的 更 新 
操作 保持 在 队列 中 ， 在 业务 压力 恢复 稳定 后 可 逐渐 赶 上 进度 ; 


。 和 后 我 们 将 了 解 到 : 流 处 理 瑚 可 以 被 并 行 化 ， 也 可 以 在 多 全 计算 
机 上 进行 分 布 式 计算 ， 既 改善 了 性 能 又 可 以 容错 。 


出 于 上 述 原 因 ， 再 加 上 同步 的 加 速 层 实现 起 来 很 是 无 趣 ， 并 且 本 书 应 
关注 于 并 行 和 并 发 ， 因 此 本 书 将 不 会 深入 讨论 同步 方案 。 在 实现 异步 
方案 之 前 ， 需 要 先 来 学 习 如 何 让 数据 过 期 。 


如 何 让 数据 过 期 

假设 批 处 理 层 需 要 两 个 小 时 处 理 数 据 ， 那 很 容易 束 会 认为 加 速 层 需 要 
保留 这 两 个 小 时 以 内 的 数据 。 实 际 上 加 速 层 需要 保留 两 倍 的 数据 ， 如 
图 8-13 所 示 。 

假设 第 N 一 1 次 批 处 理 刚刚 结束 ， 第 N 次 批 处 理 正 要 开始 。 如 果 每 次 批 
处理 需要 运行 两 个 小 时 ， 这 意味 着 批 处 理 视图 会 落后 两 个 小 时 。 因 此 


加 速 层 需 要 保持 这 落后 的 两 个 小 时 的 数据 ， 还 要 保持 批 处 理 层 运行 的 
这 两 个 小 时 中 所 有 的 新 数据 ， 辟 共和 需要 保持 四 个 小 时 的 数据 。 


时 间 
第 N 一 1 次 批 处 理 res gi 


加 速 层 
N+1 次 


第 N 次 批 处 理 fae 当前 数据 


过 期 数据 加 速 层 


图 8-13 在 加 速 层 中 让 数据 过 期 


当 第 N 次 批 处 理 结束 时 ， 需 要 让 最 早 两 个 小 时 的 数据 过 期 ， 但 仍 保存 
其 后 两 个 小 时 的 数据 。 有 多 种 方法 可 以 达到 目的 ， 不 过 最 容易 的 束 是 
同时 维护 两 个 加 速 层 ， 并 交替 使 用 它们 ， 如 图 8-14 所 示 。 


时 间 当前 数据 
OOOO O 
加 速 层 A (正在 使 用 ) | 
加 速 层 B | 


加 速 层 B (正在 使 用 ) | 


图 8-14 ”交替 使 用 加 速 层 


当 一 次 批 处 理 完 成 时 ， 批 处 理 视图 中 的 新 数据 束 变 得 可 用 ， 整 可 以 将 
当前 用 于 处 理 请 求 的 加 速 层 切 换 到 男 一 个 加 速 层 上 。 切 换 后 内 臣 的 加 
速 层 会 清理 其 数据 库 ， 并 在 新 的 批 处 理 开始 时 重新 建立 新 的 视图 。 


这 种 做 法 的 好 处 是 ， 一 方面 不 需要 费心 识别 加 速 层 的 数据 库 中 哪些 数 

据 需 要 被 过 期 清理 ， 另 一 方面 由 于 每 次 切换 后 加 速 层 都 是 从 一 个 空 数 

据 库 开始 运行 ， 因 此 达到 了 更 好 的 性 能 和 可 车 性 。 当 然 为 此 付出 的 代 

价 是 必须 要 维护 两 份 加 速 层 的 数据 并 且 消 耗 两 份 计算 资源 ， 不 过 考虑 

ee 中 很 小 的 一 部 分 ， 因 此 付出 的 代价 相对 不 
PA o 


Storm 系 统 


剩 下 的 时 间 我 们 来 学 习 用 Storm 系 统 实现 异步 的 加 速 层 。Storm 是 个 很 
大 的 话题 ， 本 书 只 能 浅 党 辑 止 一 一 如 需 深 入 了 解 请 参见 Storm 文 档 思 。 


18 http://storm.incubator.apache.org/documentation/Home.html 


Hadoop 主 要 负责 批 处 理 ，Storm 主 要 负责 实时 处 理 一 -其 能 方便 地 使 用 
多 人 台 计 算 机 进行 分 布 式 计算 ， 以 改善 性 能 和 容 钳 性 。 


Spout、Bolt 和 Topology 


Storm 系 统 处 理 的 是 元 组 (tuple) 的 流 。Storm 的 元 组 类 似 于 之 前 我 们 

在 第 5 章 看 到 的 actor 模 型 的 元 组 ， 但 不 同 于 Elixir 的 元 组 ，Storm 元 组 的 

元 素 是 有 名 字 的 。 

元 组 由 spout (出 水 管 ) 组 件 创建 ， 并 由 bolt GRIE) 组 件 进行 处 理 ， 

bolt 也 会 输出 元 组 。 用 流 将 spout 和 bolt 连 接 在 一 起 ， 就 形成 了 topology 
(拓扑 结构 ) 。 图 8-15 所 示 的 是 一 个 简单 的 topology， 由 一 个 spout 生 成 

元 组 并 由 一 系列 bolt 构 成 的 流水 线 进行 处 理 。 


A 


图 8-15 ee 


a 而 一 个 流 也 可 以 被 多 
Dbol. ne m 或 称 DAG) ， 如 图 8-16 所 示 。 


BOS 


图 8-16 一 个 复杂 的 topology 


a nd i 也 要 比 看 上 去 的 复杂 很 
， 因 为 spout 和 bolt 都 是 并 行 化 和 分 布 式 的 。 


worker 


spout 和 bolt 不 仅 相互 之 间 是 并 行 的 ， 而 且 其 内 部 也 都 是 并 行 的 一 一 每 一 


个 个 体内 部 都 是 由 很 多 worker 实 现 的 。 如 图 8-17 所 示 ， 这 个 人 简单 的 流水 
线 式 topology 中 ， 每 个 spout 和 bolt 内 部 都 有 3 个 worker ° 


图 8-17 spout 和 bolt 的 worker 


如 图 8-17 所 示 ， 流 水 线 上 每 个 节点 的 worker 都 可 以 癌 下 游 节 点 中 任意 一 
个 worker 发 送 元 组 。 在 稍 后 讨论 到 数据 流 分 发 Stream Grouping) 时 我 
们 会 学 习 如 何 控 制 使 用 哪 一 个 worker 来 接收 元 组 。 


worker 还 是 分 布 式 的 一 一 如 琳 使 用 有 4 个 广 扣 的 集群 ， 那 spoutH 的 worker 
可 能 运行 在 节点 1、 闻 点 2 和 六 点 3 上 ， 第 一 个 bolt 的 worker 可 能 运行 在 
节点 2 和 节点 4 上 (其 中 两 个 在 节点 2， 一 个 在 节点 4 上 ) 


Storm 的 优美 之 处 在 于 我 们 不 需要 特别 关注 于 分 布 式 一 一 只 需要 定义 好 
topology, Storm 就 会 同 节 点 分 配 好 worker， 并 人 确保 发 送 的 元 组 可 以 送 
达 。 


容错 性 


将 一 个 spout 或 bolt 的 多 个 worker 分 布 在 多 台 计 算 机 上 的 主要 原因 是 容错 
性 。 如 果 集 群 中 的 某 一 台 计 算 机 发 生 故 障 ，topology 可 以 将 元 组 分 发 给 
仍 存 活 的 计算 机 ， 这 样 topology 就 可 以 继续 运行 。 


Storm 会 监视 元 组 之 间 的 依赖 一 一 如 果 某 一 个 元 组 没 能 完成 ，Storm 会 
将 其 依赖 的 spout 元 组 置信 失败 并 进行 重 试 。 这 也 就 是 说 Storm 默 认 使 用 
的 是 “至 少 会 执行 一 次 ”的 处 理 策略 。 应 用 必须 知道 这 个 事实 : 元 组 可 
能 会 被 重 试 ， 直 到 其 结果 正确 。 


听 够 了 理论 ， 我 们 来 实践 一 下 ， 为 之 前 的 Wikipedia 贡 献 统 计 程 序 用 
Storm 实 现 一 个 人 简单 的 加 速 层 。 


小 乔 爱 问 : 
如 果 我 的 应 用 不 能 进行 重 试 呢 ? 


storm 默认 的 策略 是 “至 少 会 执行 一 次 "， 这 一 策略 适用 于 大 部 分 应 
用 ,但 有 一 些 应 用 需要 更 强 的 约束 ， 即 “只 会 执行 一 次 ”。 


Storm 通 过 Trident API? 可 以 支持 “只 会 执行 一 次 ”的 抹 略 ， 本 书 将 不 
会 介绍 相关 内 容 。 


用 Storm 统 计 贡 献 
图 8-18 所 示 的 是 一 种 加 速 层 的 topology ° 


a. http://storm.incubator.apache.org/documentation/Trident-tutorial.html 
We vam 
图 8-18 ”加 速 层 的 topology 


首先 使 用 一 个 spout 来 读 取 贡献 者 的 日 志 ， 并 将 其 转换 成 一 个 元 组 流 。 
然后 由 一 个 bolt 来 处 理 元 组 流 ， 对 日 志 条 目 进 行 解析 ， 并 输出 一 个 解析 
后 的 流 。 最 后 再 由 另 一 个 bolt 处 理 这 个 流 ， 并 对 保存 实时 视图 的 数据 库 
进行 更 新 。 


不 过 出 于 以 下 原因 ， 我 们 会 构建 一 个 不 太一 样 的 topology: 首先 ， 我 们 
并 不 直接 访问 Wikipedia 页 献 者 的 日 志 ; 其 次 ， 我 们 并 不 想 关 心 更 新 数 


据 库 的 细 市 (我们 关心 的 是 并 行 和 并 发 ) 。 图 8-19 是 我 们 设计 的 
topology ° 


模拟 日 志 解析 日 志 


图 8-19 改进 后 的 加 速 层 的 topology 

这 个 topology 首 先 使 用 一 个 spout 来 模拟 Wikipedia 的 贡献 者 feed， 然 后 串 
联 一 个 解析 右 ， 最 后 记录 内 存 中 的 实时 视图 。 这 个 方案 不 适用 于 产品 
环境 ， 但 非常 适用 于 学 习 Storm。 

模拟 贡献 日 志 


下 面 的 代码 实现 了 一 个 spout， 它 会 随机 产生 日 志 来 模拟 feed: 


LambdaArchitecture/WikiContributorsSpeed/src/main/java/com/p 
aulbutcher/RandomContributorSpout.java 


Line 1 public class 


RandomContributorSpout extends 
BaseRichSpout { 
- private static final Random 


rand = new Random(); 


private static final 


DateTimeFormatter isoFormat = 
5 ISODateTimeFormat .dateTimeNoMillis(); 


private 


SpoutOutputCollector collector; 


- private int 
contributionId = 10000; 
10 public void 

open(Map 


conf, TopologyContext context, 
- SpoutOutputCollector collector) { 
- this.collector = collector; 


} 
15 
- public void 


declareOutputFields(OutputFieldsDeclarer declarer) { 
- declarer .declare (new 


Fields("line 


")); 
} 


20 public void 


nextTuple() { 
- Utils.sleep(rand.nextInt(100)); 


- ++contributionId; 
- String 
line = isoFormat.print(DateTime.now()) + " " + contributionId + " 
" 
十 
- rand.nextInt(10000) + " " + "dummyusername 
Wea 
了 
25 collector.emit (new 


Values(line)); 


这 段 代 码 创 建 了 一 个 spout， fa Oh ose ae (第 1 行 ) 。 
Storm 会 在 初始 化 时 调用 open( ) 方法 (第 10 行 ) 法 中 


T O 的 引用 ， 以 便 之 局 将 输出 发 给 
SpoutOutputCollector 。Storm 在 初始 化 时 还 会 调用 
declareOutputFields() 方法 (第 16 行 ) ， 以 便 了 解 spout 会 产生 
的 元 组 的 结构 本 例 中 ， 元 组 只 有 一 个 名 为 1ine 的 字段 。 


nextTuple() (第 20 行 ) 承担 了 大 部 分 工作 。 这 个 函数 首先 会 随机 睡 
眠 100 多 毫秒 ， 然 后 创建 一 个 字符 串 ， 它 的 格式 如 8.3 节 的 “贡献 者 日 

志 ” 部 分 所 述 ， 最 后 调用 coL1lector ,emit( ) 来 输出 字符 串 。 

产生 的 日 志 会 被 传 给 解析 器 bolt (将 在 下 一 节 中 介绍 ) 。 

解析 日 志 

解析 器 bolt 接 受 代表 日 志 行 的 元 组 ， 并 进行 解析 ， 再 输出 含有 四 个 字段 
的 元 组 ， 每 个 字段 代表 了 日 志 行 的 一 部 分 : 


LambdaArchitecture/WikiContributorsSpeed/src/main/java/com/p 
aulbutcher/ContributionParser.java 


Line 1 class 
ContributionParser extends 


BaseBasicBolt { 
2 public void 


declareOutputFields(OutputFieldsDeclarer declarer) { 
3 declarer .declare(new 


Fields("timestamp 
Mn aL 

"contributorId 
", "username 


")); 


5 public void 


execute(Tuple tuple, BasicOutputCollector collector) { 
6 Contribution contribution = new 


Contribution(tuple.getString(0)); 
7 collector .emit (new 


Values(contribution.timestamp, contribution.id, 
8 contribution.contributorId, contribution.username) ); 
9 4} 
10 } 


这 段 代 码 创建 一 个 了 bolt， 其 继承 了 BaseBasicBolt (第 1 行 ) ° 4 
创建 spout 时 一 样 ， 还 需要 实现 declareO0utputFields() 方法 (第 2 
行 ) ， 以 便 让 Storm 了 解 到 bolt 输 出 元 组 的 结构 一 一 本 例 中 ， 输 出 元 组 
包含 4 个 字段 ， 分 别 是 timestamp `id 、contributorId 和 
username ° 


这 次 承担 了 大 部 分 工作 的 是 execute() (第 5 行 )。 本 例 与 批 处 理 层 
一 样 ， 使 用 了 contribution 类 来 解析 日 志 行 ， 再 调用 
contributor.emit() 来 输出 元 组 。 


解析 得 到 的 元 组 会 被 传 给 另 一 个 bolt， 以 记录 每 个 贡献 者 的 贡献 数 ， 下 
一 广 我 们 会 学 习 这 个 bolt 。 


记录 贡献 数 


最 后 一 个 bolt 维 护 了 一 个 记录 着 每 个 贡献 者 的 页 献 记录 的 简单 内 存 数据 
库 〈 其 实 是 一 个 map， 其 键 是 贡献 者 ID， 其 值 是 贡献 时 间 稚 的 集合 ) : 


LambdaArchitecture/WikiContributorsSpeed/src/main/java/com/p 
aulbutcher/ContributionRecord.java 


Line 1 class 


ContributionRecord extends 


BaseBasicBolt { 
private static final HashMap 


<Integer, HashSet 
<Long 


>> timestamps = 
- new HashMap 


<Integer, HashSet 
<Long 
>>(); 


5 public void 


declareOutputFields(OutputFieldsDeclarer declarer) { 


public void 


execute(Tuple tuple, BasicOutputCollector collector) { 
- addTimestamp(tuple.getInteger(2), tuple.getLong(®)); 


10 
private void 


addTimestamp(int 
contributorId, long 


timestamp) { 
- HashSet 


<Long 


> contributorTimestamps = timestamps.get(contributorId); 
if 


(contributorTimestamps == null) { 
- contributorTimestamps = new HashSet 


15 timestamps.put(contributorId, contributorTimestamps); 


contributorTimestamps.add(timestamp); 


本 例 中 并 不 产生 任何 输出 ， 所 以 declareOutputFields() 函数 是 空 
的 〈 第 5 行 ) 。execute() (第 7 行 ) 方法 只 是 从 输入 中 提取 相关 信 
息 ， 并 传 给 addTimestamp( ) 函数 ，addTimestamp() 负责 向 贡献 
者 相应 的 集合 中 添加 时 间 惟 。 
现在 来 创建 一 个 topology， 将 已 有 的 spout 和 bolt 集 成 起 来 。 

小 乔 爱问 : 

为 什么 要 记录 时 间 戳 的 集合 ? 


在 8.3 世 中 我 们 看 到 批 处 理 视图 仅 记 录 了 每 天 和 每 月 的 页 献 记 录 
数 。 那 么 在 实时 视图 中 为 什么 要 记录 完整 的 时 间 戳 呢 ? 


如 之 前 讨论 过 的 ， 实 时 视图 只 需要 记录 几 个 小 时 的 数据 ， 所 以 记 
了 永和 查询 完整 的 时 间 戳 的 代价 相对 较 低 。 但 更 重要 的 原因 是 : H 
集合 中 增加 记录 的 操作 是 几 等 的 。 


之 前 学 习 过 ，Storm 默 认 的 策略 是 “至 少 会 执行 一 次 ”， 那 么 元 组 可 
能 会 被 重 试 。 所 请 蜂 等 操作 ， 就 是 无 论 操 作 执行 多 少 次 结果 都 是 
一 样 的 ， 这 正 可 以 用 于 处 理 元 组 被 重 试 的 情况 。 


构建 topology 
我 们 对 ContributionRecord 可 能 会 有 些 担心 已 经 知道 bolt 会 包 


括 多 个 worker， 那 么 如 何 来 你 证 一 个 页 献 者 只 会 对 应 一 个 时 间 惟 集合 
呢 ? 要 解决 这 个 问题 就 需要 和 多 了 解 如 何 构建 topology。 


LambdaArchitecture/WikiContributorsSpeed/src/main/java/com/p 
aulbutcher/WikiContributorsTopology.java 


Line 1 public class 


WikiContributorsTopology { 

l public static void 
main(String[] 
args) throws 
Exception { 

5 TopologyBuilder builder = new 
TopologyBuilder(); 


builder .setSpout("contribution_spout 


RandomContributorSpout(), 4); 


- builder .setBolt("contribution_parser 


ContributionParser(), 4). 
10 shuffleGrouping("contribution_spout 


- builder .setBolt("contribution_recorder 


ContributionRecord(), 4). 
- fieldsGrouping("contribution_parser 


Fields("contributorId 


")); 


15 LocalCluster cluster = new 


LocalCluster(); 
- Config conf = new 


Config(); 
- cluster .submitTopology("wiki-contributors 


", conf, builder.createTopology()); 


- Thread 


.Sleep( 10000) ; 
20 
= cluster.shutdown(); 


首先 ， 这 段 代码 创建 一 个 TopologyBuilder (28547) ， 并 调用 
setSpout() (第 7 行 ) 来 添加 一 个 spout 实 例 。 其 第 二 个 参数 是 一 个 
并 行 度 的 参考 (hi) ， 这 只 是 个 参考 而 不 是 强制 命令 ， 但 为 了 理解 简 
单 ， 可 以 认为 这 个 参数 是 一 个 强制 命令 ，Storm 会 根据 这 个 参数 为 spout 
创建 4 个 worker。 如果 要 详细 了 解 如 何 控 制 Storm 的 并 行 ， 推 荐 阅 

读 “What Makes a Running Topology: Worker Processes, Executors and 
Tasks”? o 


19 http://storm.incubator.apache.org/documentation/Understanding-the-parallelism-of-a-Storm- 
topology.html 


接 下 来 ， 这 段 代 码 调 用 setBolt() (第 9 行 ) 来 添加 
ContributionParser 的 实例 。 最 后 ， 这 上 段 代 码 调 用 
shuffleGrouping() ， 其 参数 与 设置 spout 时 的 字符 串 一 样 ， 这 样 
Storm 就 知道 这 个 bolt 需 要 从 spout 中 读 取 输入 。 这 里 我 们 还 需要 学 习 数 
据 流 分 发 。 


数据 流 分 发 


Storm 的 数据 流 分 发 策略 主要 解决 了 哪 一 个 worker 接 受 哪 一 个 元 组 的 问 
题 。 解 析 器 bolt 所 使 用 的 随机 分 发 (shuffle grouping) 策略 是 最 简单 的 
只 是 简单 地 将 元 组 随机 分 发 给 某 一 个 worker。 


记录 贡献 数 的 bolt 使 用 的 是 按 字段 分 发 (fields grouping) 策略 (第 12 
行 ) ， 这 个 策略 保证 某 些 字段 (本 例 中 是 contributorId 字段 ) 的 
值 相同 的 元 组 会 被 分 发 给 同一 个 worker。 回 到 上 一 节 开 始 的 问题 ， 我 们 
也 是 通过 这 个 策略 来 确保 一 个 页 献 者 只 对 应 一 个 时 间 鹤 集合 的 。 


本 地 集群 
设置 Storm 集 群 并 不 复杂 ， 但 这 超出 了 本 书 的 范围 。 更 翡 剧 的 是 ， 由 于 
这 是 一 | ] 新 技术 ， 还 没有 可 以 直接 利用 的 现成 的 Storm 集 群 服务 。 所 以 


需要 创建 了 一 个 LocalCcluster (第 17 行 ) 在 本 地 运行 我 们 的 
topology ° 


本 例 中 我 们 让 topology 运 行 了 10 秒 后 调用 cluster .shutdown( ) 来 关 
闭 它 。 然 而 在 产品 环境 中 ， 当 批 处 理 层 赶 上 了 进度 ， 已 经 不 再 需要 当 
前 的 实时 视图 时 ， 就 需要 用 其 他 方法 来 关闭 topology 。 

第 三 天 总 结 

我 们 完成 了 第 三 天 的 学 习 ， 也 完成 了 对 Lambda 架 构 的 加 速 层 的 讨论 。 
第 三 天 我 们 学 到 了 什么 

加 速 层 创建 的 实时 视图 包含 了 最 后 一 次 生成 批 处 理 视 网 后 产生 的 数 


据 ， 这 样 束 完善 了 Lambda 架 构 。 加 速 层 可 以 古 同 步 的 或 异步 的 一 一 
Storm 是 一 种 构建 异步 加 速 层 的 方法 。 


。 Storm 实 时 地 处 理 元 组 流 。 元 组 由 spout 创 建 、 由 bolt 处 理 、 由 
topology 调 度 。 


。 spout 和 bolt 都 包含 多 个 worker， 这 些 worker 并 行 执行 ， 且 分 布 在 集 


HS SRE ° 
。 Storm AMEH EDR UT — WR —bol tte BE 5h BT 2 
重 试 的 情况 。 
第 三 天 自习 
查找 


。 Trident 是 建立 在 Storm 基 础 上 的 高 级 API。 类 似 于 Storm 的 “至 少 会 执 
行 一 次 ”的 默认 策略 ，Trident 提 供 了 “只 会 执行 一 次 ”的 策略 。 
Trident 适 用 于 什么 场景 ? Storm 的 低级 API 适 用 于 什么 场景 ? 


。 i Storm 还 提供 了 哪些 数据 流 分 发 策 
He‘? 
实践 


° Ste a 并 将 今天 本 地 运行 的 例子 部 署 在 上 

。 创建 一 个 bolt 和 一 个 topology，bolt 负 责 维护 每 分 钟 的 贡献 总 数 ， 
topology 负 责 将 ContributionParser 的 输出 分 发 给 
ContributionRecord 和 我 们 创建 的 bolt 。 

。 今天 的 例子 使 用 了 BaseBasicBolt ， 它 会 自动 地 对 元 组 进行 确 


认 。 请 改 用 BaseRichBolt 你 需要 显 式 对 元 组 进行 确认 。 创 
建 一 个 bolt， 如 何在 确认 之 前 处 理 多 个 元 组 ? 


8.5 复习 


Lambda 架 构 将 我 们 已 经 学 过 的 一 些 内 容 融 合 在 了 一 起 : 


这 让 我 们 想到 Clojure 分 离 标识 与 状态 的 
法 ; 


Hadoop 并 行 化 解决 问题 的 方法 是 先 将 问题 切 分 并 映射 到 一 个 数据 
结构 上 ， 再 进行 化 和 倘 操 作 。 这 非常 类 似 于 并 行 函 数 编程 的 做 法 


类 似 于 actor 模 型 ，Lambda 架 构 将 处 理 过 程 分 布 到 集群 上 ， 这 样 既 
改进 了 性 能 ， 又 可 以 对 硬件 故障 进行 容错 ; 

Storm 的 元 组 流 类 似 于 actor 模 型 和 CSP 模 型 的 消 轧 机制 。 

优点 


Lambda 以 构 主 要 用 于 解决 大 规模 数据 的 问题 一 一 这 些 问题 是 传统 数据 
处 理 染 构 难 以 应 对 的 。Lambda 染 构 非 肖 适 合 于 报表 和 分 析 一 一 以 前 我 
们 会 使 用 数据 仓库 来 进行 这 类 工作 。 


RR 


Lambda 架 构 最 大 的 优点 一 一 擅长 处 理 大 规模 数据 一 一 这 也 正 是 它 的 缺 
点 。 除 非 你 的 数据 达到 数 太 字 世 甚至 更 多 ， 否 则 其 成 本 (计算 成 本 和 
智力 成 本 ) 将 高 于 收益 。 


替代 方案 


Lambda 架 构 并 没有 与 MapReduce 绑 定 一 一 批 处 理 层 可 以 用 其 他 的 分 布 
式 批 处 理 系统 来 实现 。 


基于 这 一 点 ，Apache Spark” 就 是 一 个 很 有 意思 的 方案 。Spark 是 一 个 
集群 计算 框 染 ， 它 实现 了 了 DAG 执行 引 苟 ， 可 以 使 用 很 多 比 MapReduce 
用 起 来 更 自然 的 算法 (尤其 是 图 算法 ) 。 它 也 提供 了 与 流 相 关 的 API21 
， 这 意味 着 批 处 理 层 和 加 速 层 都 可 以 用 Spark 实 现 。 


区 http://spark.apache.org 


21 http://spark.apache.org/streaming/ 


结语 


由 于 包含 前 几 章 介绍 过 的 很 多 技术 ，Lambda 架 构 很 适合 用 来 作为 本 书 
压轴 的 主题 。 用 Lambda 架 构 演 示 “ 如 何 利用 并 行 和 并 发 扩 术 解决 一 些 环 
手 问 题 " 是 非 营 合适 的 。 


我 们 将 重 狐 审视 过 去 7 周 的 内 容 ， 以 及 本 书 已 经 涉及 的 几 大 
题 。 


第 9 章 圆满 结束 


茶 辟 你 完成 了 七 周 的 学 习 ! 


从 由 数据 并 行 GPU 提 供 的 细 粒 度 并 行 ， 到 大 规模 的 MapReduce 集 群 ， 我 
们 讨论 的 主题 涉及 方方面面 。 一 路 走 来 ， 我 们 不 仅 学 习 了 如 何 用 并 行 
和 并 发 来 挖掘 现代 多 核 CPU 的 潜力 ， 而 且 学 到 了 许多 比 传统 串 行 代码 
更 优秀 的 特性 © 
。 我 们 学 习 了 Elixir、Hadoop 和 Storm， 这 几 种 系统 都 可 以 部 署 在 多 
人 式 计算 ， 从 而 创建 出 可 以 对 硬件 故障 进行 容错 
I RY R O? 


。 通过 core ,async ， 学 习 了 如 何 利 用 并 发 来 解决 事件 处 理 时 会 碰 
到 的 “回调 困境 ”。 


。 在 画 数 式 编程 的 章节 中 ， 学 习 了 如 何 让 并 发 方案 比 等 价 的 串 行 方 
案 更 简洁 易 读 。 


现在 来 看 看 这 预示 着 怎样 的 未 来 。 
9.1 ERKE 
一 十 几 年 前 ， 我 曾 预言 并 行 技术 和 分 布 式 编程 将 成 为 主流 ， 如 今 的 现 


实 表 明 我 不 是 个 成 功 的 预言 家 。 尺 管 如 此 ， 现 在 我 仍然 相信 并 行 和 并 
发 预示 看 编程 的 未 来 。 


未 来 是 “不 变 " 的 


在 我 看 来 ， 有 一 个 话题 散发 着 耀眼 的 光世 一 一 和 过 去 相 比 ， 不 变性 在 
代码 中 的 应 用 会 越 来 越 广泛 。 与 不 变性 关系 最 大 的 是 函数 式 纺 程 
在 函数 式 编 程 中 ， 避 免 使 用 可 变 状 态 会 使 得 并 行 和 并 发 更 为 测 单 。 不 
过 为 了 获得 不 变性 ， 不 一 定 非 要 使 用 函数 式 编 程 。 在 过 去 的 儿 周 中 我 


们 已 经 学 过 : 


。 里 然 Clojure 不 十 一 | 纯粹 的 函数 式 语 言 ， 但 其 核心 数据 结构 是 持 
久 且 不 变 的 (参见 4.2 节 的 “持久 数据 结构 ”部 分 ) o FEARG 
可 以 将 标识 与 状态 分 离 ， 这 样 Clojure 就 可 以 文 持 可 变 引 用 ， 并 且 
避免 使 用 可 变 状态 市 来 的 问题 ; 


里 然 Lambda 架 构 的 故 层 代码 通 肖 不 是 钞 数 式 代码 ， 不 过 其 核心 思 
想 的 确 是 不 变性 一 一 批 处 理 层 规定 其 原始 数据 是 永恒 真实 的 不 
可 变 的 ) ， 所 以 我 们 可 以 将 数据 安全 地 分 布 到 集群 中 ， 对 数据 进 
行 并 行 处 理 ， 且 能 对 技术 故障 和 人 为 故障 进行 容错 ; 


运行 在 Ernang 庶 拟 机 上 的 Elixir 有 痢 早 越 性 能 和 可 靠 性 ， 虽 然 它 不 
征 一 门 纯粹 的 函数 式 语 言 ， 但 其 优异 表现 的 关键 是 它 不 适用 可 变 


变量 


© 
T 


I 


H 


ki 


基于 actor 模 型 或 CSP 模 型 的 应 用 所 发 送 的 消 妃 是 不 可 变 的 ; 


在 使 用 线程 与 锁 模型 时 ， 不 变性 也 非常 有 用 一 一 不 可 变 的 数据 越 
多 ， 需 要 使 用 的 锁 束 越 少 ， 我 们 就 越 不 用 担心 内 存 可 见 性 囊 来 的 


问题 。 
显而易见 ， 虽然 我 们 可 能 不 使 用 函数 式 语言 ， 但 所 涉及 的 框 染 和 代码 


越 来 越 多 地 受到 函数 式 规 则 的 影响 。 这 是 个 好 消 居 一 一 不 仅 让 我 们 更 
容易 地 使 用 并 行 和 并 发 ， 也 让 代码 变 得 更 加 位 涪 匈 懂 且 可 靠 。 


未 来 是 分 布 式 的 
并 行 和 并 发 目前 的 复兴 主要 是 由 多 核 危 机 引发 的 。 CPU 的 发 展 趋势 并 


不 是 大 幅 提 升 单 核 性 能 ， 而 是 增加 CPU 的 核 数 。 好 消息 是 利用 过 去 几 
周 所 学 到 的 知识 我 们 可 以 挖掘 出 多 核 的 溢 力 。 


Ñ 


但 我 们 还 面临 看 另 一 个 危机 一 一 内 存 市 宽 。 目 前 ， 双 核 、4 核 或 8 核 的 
计算 机 尚 可 利用 共享 内 存 高 效 地 通信 ， 但 如 果 涉 及 16 核 、32 核 甚至 64 
核 呢 ? 

如 采 CPU 的 核 数 继续 按照 这 个 速度 增长 ， 共 吝 内 存 就 会 成 为 瓶颈 ， 分 
布 式 内 存 束 成 为 我 们 不 可 不 考虑 的 选择 。 未 来 的 计算 机 可 能 仍然 古 个 
小 盒子 ,但 从 程序 员 的 角度 来 看 ， 其 更 像 一 个 计算 机 集群 。 


我 认为 ， 基 于 消息 传递 的 技术 ， 例 如 actor 模 型 和 CSP 模 型 ， 随 着 时 间 发 
展会 变 得 印加 重要 。 


你 肯定 猜 到 了 ， 过 去 的 七 周 内 我 们 没有 穷尽 并 行 和 并 发 的 每 一 种 可 
能 。 那 我 们 遗漏 了 些 什 么 呢 ? 


9.2 未 尽 之 路 


撰写 本 书 时 ， 最 艰难 的 就 是 对 内 容 进 行 取舍 。 下 面 简 要 介绍 一 些 我 们 
尚未 涉及 的 技术 ， 以 及 一 些 目 学 的 资料 。 


Fork/Join 模 型 和 Work-Stealing 算 法 


Fork/Join 是 随 着 Cilk 语 言 ! 流行 起 来 的 并 行 方法 ，Cilk 是 C/C++ 的 一 个 并 
行 变种 。 不 过 现在 许多 语言 环境 ， 包 括 Java* ， 都 实现 了 Fork/Join ° 
Fork/Join 模 型 非常 适用 于 分 治 算法 ， 我 们 在 3.3 市 的 “分 而 治之 ”部 分 学 
习 过 分 治 算法 (实际 上 Clojure 的 reducer 内 部 就 使 用 了 Fork/Join 模 型 ) 


1 http://www.cilkplus.org 


2 http://docs.oracle.com/javase/8/docs/api/java/util/concurrent/ForkJoinPool.html 


实现 Fork/Join， 通 常会 用 到 work-stealing 算 法 在 线程 池 中 共享 任务 。 
work-stealing 非 常 类 似 于 Clojure 中 的 go 块 《参见 6.2 和 的 “go 块 ? 部 分 ) 。 


数据 流 


我 们 在 3.4 世 中 接触 过 数据 流 ， 这 个 主题 值得 更 深入 的 讨论 。 本 书 之 所 
以 未 作 深入 讨论 的 主要 原因 是 ， 没 有 找到 一 门 合适 的 、 通 用 的 数据 流 


语言 。 较 为 合适 的 语言 是 多 重 编程 范式 语言 0 (Mozart 编 程 系 统 的 一 
pa 


3 http://mozart.github.io 


本 书 不 深入 讨论 并 不 意味 着 数据 流 不 重要 一 一 恰恰 相反 ， 硬 件 设计 中 
大 量 使 用 了 基于 数据 流 的 并 行 反 术 一 一 VHDL Fil Verilog? 都 是 数据 流 


ee 


4 http://en.wikipedia.org/wiki/VHDL 


5 http://en.wikipedia.org/wiki/Verilog 


反应 型 编程 


与 数据 流 密 切 相 关 的 是 反应 型 编程 (reactive programming) 。 反 应 型 程 
序 可 以 自动 传 播 变 化 。 反 应 型 程序 之 所 以 引 人 关 注 ， 归 功 于 Microsoft 
Rx (Reactive Extensions) JÆ6 和 其 他 的 库 ”。 


6 https://rx.codeplex.com 
7 https://github.com/Netflix/RxJava 


反应 型 编程 与 之 前 我 们 学 习 的 几 种 技术 有 相似 之 处 ， 包 括 Storm 的 
topology， 还 有 actor 模 型 和 CSP 模 型 这 类 基于 消息 传递 的 技术 。 


函数 式 反 应 型 编程 


函数 式 反 应 型 编程 (Functional Reactive Programming, FRP) 是 反应 型 

编程 的 一 种 ， 通 过 对 时 间 进 行 建 模 来 扩展 函数 式 编程 。Elms 实现 了 并 

发 版 本 的 FRP， 其 运行 在 浏览 絮 中 。 与 core .async 类 似 ， 在 处 理事 

件 时 其 提供 了 一 种 方法 来 避免 “回调 困境 ”。Elm 有 是 本 系列 丛书 的 下 一 本 

oa More Languages in Seven Weeks [TDMD14]) 中 将 要 涉及 的 编 
wad e 


8 http://elm-lang.org 


网 格 计算 


网 格 计算 是 一 种 松 耦 合 地 建立 分 布 式 集群 的 方法 。 网 格 的 元 素 通 常 是 
异 构 且 地 理 分 布 的 ， 甚 至 加 入 网 格 和 退出 网 格 剖 可 能 是 目 发 的 。 


最 著名 的 网 格 计算 项 目 是 SETI@Home? ， 任 何人 都 可 以 通过 它 参 与 到 
许多 项 目的 计算 中 。 


9 http://setiathome.ssl.berkeley.edu 
= J 
元 组 空间 


元 组 空间 (tuple space) 是 分 布 式 联想 记忆 (distributed associative 
memory) 的 一 种 形式 ， 可 用 于 实现 进程 之 间 的 通信 。 元 组 空间 首次 在 
Linda 协 作 语 言 中 被 引入 (这 恰巧 是 20 世 纪 90 年 代 初 我 的 博士 论文 选 
题 ) ， 现 在 也 有 一 些 正 在 开发 中 的 基于 元 组 空间 模型 的 系统 也 , 世 。 


10 http:Wen.wikipedia.org/wiki/Linda (coordination_language) 
n http://river.apache.org/ 


12 hitps://github.com/vjoel/tupelo 


9.3 ILHE 


我 是 一 个 汽车 迷 ， 所 以 每 一 章 开 头 使 用 的 比喻 几乎 都 与 汽车 相关 。 与 
汽车 类似 ， 编 程 遇 到 的 问题 会 呈现 不 同 的 类 型 和 不 同 的 规模 。 无 论 我 
们 处 理 的 问题 相当 于 一 辆 轻 量 级 定制 赛车 、 一 辆 量 产 家 用 轿车 ， 或 者 
二 型 下 车 ， 我 部 可 以 自信 地 说 ， 并 行 和 并 发 部 将 变 得 起来 和 


无 论 你 是 否 会 直接 使 用 这 些 并 发 模型 ， 我 真诚 地 布 望 过 去 七 周 所 学 的 
知识 能 帮助 你 更 有 信心 地 迎接 未 来 的 项 目 。 祝 芍 驶 (线程 ， 安 全 。 
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